쿠팡의 로켓배송은 쿠팡의 상징과도 같은 서비스죠. 쿠팡에서 시키는데 로켓배송 안 붙은 걸 시킬거면 쿠팡에서 왜 시키나 싶을 정도로 중요한 서비스라고 할 수 있습니다.
그런데 이 서비스의 가치는 어느정도일까요? 모두 다 금전적 가치로 환산할 수는 없겠지만, 로켓배송이 리텐션을 얼마나 높이는지 주문금액을 얼마나 높이는지 어떻게 알 수 있을까요? 사실 쿠팡은 이미 한 번 이걸 측정했습니다.
로켓배송의 시초 분석
로켓배송 출생의 비밀이라는 글을 보면 어떻게 로켓배송의 효과를 확인했는지 나와있습니다.
초창기 쿠팡의 가장 큰 고민은 배송에 대한 고객들의 불만이 끊이지 않는다는 것이었습니다. 당시의 쿠팡은 다른 쇼핑 사이트와 마찬가지로 배송을 외주 택배사에 맡겼는데, 제품이 언제 도착하는지, 지금은 어느 단계에 있는지 등 배송상태를 추적하고 서비스를 컨트롤 하는 것은 택배사의 역할이었습니다. 하지만 고객 불만을 그대로 방치할 수는 없었죠.
쿠팡은 직접배송을 염두에 두고 아파트단지를 선정해 A/B 테스트를 시작했습니다. A 군은 기존과 동일한 택배서비스를 유지했고, B 군은 쿠팡 직원들이 직접 상품을 배송해 줬습니다. 이것이 바로 최초의 ‘와우딜리버리 이벤트’로, 고객들이 바라는 빠르고 친절한 배송을 제공하고자 한 시도였습니다.
국내에서 A/B 테스트를 제일 잘하는 회사답게 로켓배송마저도 A/B 테스트를 했다고 합니다. 개인적으로는 오프라인 경험 A/B 테스트를 했다는 게 신선하면서 대단하다고 느꼈습니다.
직원들이 직접 실시한 배송서비스는 고객들 사이에서 뜨거운 반응을 불러일으켰습니다. A/B 테스트의 성공지표로 설정한 고객들의 재구매율도 월등히 높아졌구요. 고객 만족이 데이터로 증명되자 직접배송에 대한 확신이 생겼습니다.
쿠팡은 이렇게 A/B 테스트를 통해 로켓배송의 가치를 측정했는데요, 현재 쿠팡은 2014년 당시와 비교가 불가능한 회사가 되어 이때 측정한 로켓배송의 가치로 현재 로켓배송의 가치를 매기는 것은 좋지 않아 보입니다. 업데이트가 필요할 것 같네요.
제트배송
만약에 로켓배송으로 안 하다가 로켓배송을 하는 경우가 있다면 전후 비교를 통해 로켓배송의 가치를 알 수 있지 않을까요? 그래서 준비했습니다, 제트배송!
제트배송(이전 명칭 로켓제휴)은 쿠팡에 입점한 일반 셀러가 로켓배송 인프라를 이용하게 해주는 서비스입니다. 물론 소비자에게는 로켓배송이 아닌 제트배송이라 표현되지만, 이번 분석에서는 로켓배송과 제트배송 표기로 인한 차이는 없다고 가정하겠습니다.
참고로 제트배송은 카테고리마다 다르지만 수수료가 30% 수준으로 알려져있습니다. 어쩌면 도둑놈 소리가 절로 나올 수 있는 높은 수수료죠. 그런데 만약 셀러 입장에서 제트배송 안 할 때보다 할 때 매출이 40% 증가한다면 30% 수수료를 내도 10% 성장하는 게 되고 안 할 이유가 없어보입니다. 쿠팡이 워낙 트래픽 기준으로 압도적인 이커머스라서 노출도 잘 되고 로켓배송이 아니라면 안 사려던 고객도 전환될 수 있으니 상품에 따라서는 도전해볼만한 것 같습니다.
그러면 이제 로켓배송을 하지 않다가 로켓배송을 하는 케이스를 구했으니 로켓배송의 효과를 알 수 있겠군요?
아쉽지만 아닙니다. 이유는 잘하는 셀러가 있으면 쿠팡에서 연락해가지고 제트배송 써보시라고 하는 경우가 있기 때문입니다 (아마 많을 겁니다). 즉, 잘하는 유망주 셀러에게 제안하기 때문에 유망주들은 굳이 제트배송하지 않아도 제트배송한만큼은 아니겠지만 평균 매출이 크게 상승했을 수 있죠.
선택편향 해결
위에서 얘기한 유망주 셀러에게 제트배송을 권유하는 경우 선택편향이 발생할 수 있습니다. 또는 교란변수가 있다고도 표현할 수 있는데요, 아이스크림이 많이 팔려서 상어에게 죽는 사람이 늘어난 게 아니고 여름이라 아이스크림이 많이 팔리고 상어에 죽는 사람이 늘어나는 것과 같은 상황입니다.
일반적으로 A/B 테스트를 하면 이런 상황이 문제 될 게 없지만 셀러들 돈 버는 게 장난도 아니고 플랫폼이 임의로 일부에게는 제트배송을 해주고 일부에게는 안 해줄 수 없겠죠. 준실험방법론 중 이런 상황에서 자주 사용하는 기법이 성향점수(Propensity Score) 기법입니다. 일반적으로 매칭법을 많이 써서 성향점수매칭(Propensity Score Matching, PSM)으로 알려져있습니다.
제트배송 유망주 셀러 케이스로 PSM 방법론을 설명하자면 셀러의 여러 특징들을 변수로 사용하여 제트배송을 할 확률을 예측하게 합니다. 여기서 여러 특징이란 이전 3개월 매출금액, 상품 카테고리(의류, 식료품, 가전 등), 반복 구매율 등등 여러가지가 가능합니다. 이후 방법론마다 다르지만 매칭 기준으로는 이 성향점수가 비슷한 셀러 정보만 남기고 나머지는 분석에 사용하지 않습니다.
그래서 그거 돈 되냐고~~
자, 이제 효과가 얼마나 되느냐만 보면 되겠죠? 방법은 다양하겠지만 저는 Difference-in-Differences(DID)로 얼마나를 측정하려고 합니다.
위 그림처럼 제트배송한 후 지표에서 제트 배송 하지 않았다면 예상되는 지표를 빼는 것이 DID라고 보시면 되겠습니다. 만약 제가 분석한다면 안정된 지표를 위해 기간을 한 달 정도 잡고 이전 1달과 이후 1달을 비교할 것 같습니다. 매출이라면 이전 1달 매출과 이후 1달 매출이 되겠네요.
DID의 식을 위와 같이 표현할 수 있겠습니다. ROCKET은 제트배송 했으면 1 아니면 0, Period는 제트배송 전이면 0 후면 1입니다. 그리고 최종적으로 우리가 봐야할 것은 Beta3입니다. 만약 y값이 매출이고 Beta3가 0.3이 나왔다고 하면 제트배송으로 매출이 평균적으로 30% 증가하는 것으로 해석할 수 있습니다 (log-level 회귀이기 때문, 참고자료) (사실 0.3은 계수값이 좀 커서 직접 지수 변환을 하는 게 맞지만 일단…)
셀러 입장에서 만약 30% 효과가 있다면 수수료가 30%로 알려져있으니 굳이 제휴하지 않아도 될 것 같고, 그 이상의 효과가 있다면 제휴하는 의사결정을 내릴 수 있겠습니다.
그리고 쿠팡이 제트배송이라는 제도를 열어준 덕분에 처음 아파트 단지 내에 진행한 A/B 테스트 이후로는 로켓배송의 효과를 측정하기 어려웠는데 간접적으로 효과를 측정할 수 있게 되었습니다. 사실 제가 궁금한 건 후자거든요… 또한 이 점이 실험이 아닌 인과추론을 원할 때 언제나 할 수 없는 이유입니다. 로켓배송의 효과 측정을 제트배송을 통해 간접적으로 한 것처럼 적절한 상황적 배경이 있어야만 인과추론이 가능합니다.
마치며
관측 데이터만으로 완벽히 인과효과를 밝혀내는 것은 아예 불가능하기 때문에 결과를 무조건 믿을 수는 없습니다. 따라서 최대한 신뢰도를 높이기 위해 결과가 믿을만한지 적절한 검증을 해야합니다.
저희 예제에서는 robust check로 look-forward matching을 해도 좋을 것 같은데요. 시점을 고정했을 때는 제트배송 하지 않는 셀러만 뽑는 기간 - 제트배송 전환 확인 기간 - 효과 측정 기간이 있었다면, look-forward matching을 할 때는 시점을 고정하지 않고 바꿔가면서 다양한 시점에서 제트배송 하지 않는 셀러만 뽑는 기간 - 제트배송 전환 확인 기간 - 효과 측정 기간을 추출합니다. 이 때 다른 시점에서는 제트배송 전환한 셀러도 특정 시점에서는 전환하지 않은 control 집단에 속하게 됩니다. 이렇게 하면 좀 더 많은 데이터를 활용한, 같은 셀러가 control 그룹에 속할 때와 treatment 그룹에 속할 때 정보 모두 반영한 측정을 할 수 있게되어 조금 더 강건해집니다.
마지막으로 robust check까지 소개해봤습니다. 단순히 DID-PSM을 소개하는 것보다 사람들이 궁금해할만한 가상 주제로 풀어보고자 했는데, 나중에 쿠팡에서 이런 결과 발표하면서 “셀러님들 그러니까 제트배송하세요” 하면 좋겠네요ㅎㅎㅎㅎㅎㅎ
읽어주셔서 감사합니다.