데이터분석가로 일하면서 기쁨을 느끼는 순간은 주로 세 가지 카테고리에 있는 것 같습니다.
- 데이터가 의도한대로 잘 남거나 잘 추출되고 이것을 자동화 했을 때
- 데이터를 통해 인사이트를 발견하고 이것이 액션으로 발현될 때
- 기존에 못 풀던 문제를 데이터와 (알고리즘, 논리 등의) 로직으로 풀어냈을 때
1번 유형은 개인과 회사의 상황에 맞게 시도해야 하고, 2번 유형도 코호트 분석 같은 일부 방법론을 제외하면 일반화하기 어렵지만, 3번 유형은 세부 내용은 바꿔야겠지만 전반적 플로우는 충분히 따라갈 수 있습니다. 그런 의미에서 3번 유형에 해당되는, 제가 몇 번씩 돌려봤던 글들을 리뷰해보려고 합니다.오늘의집과 Wayfair의 글입니다.
별도의 유저 ID가 남지 않는 TV 광고의 효과를 정량화했다는 점에서 배울 점이 많은 레퍼런스라고 생각합니다. 사실상 Wayfair 글의 일부를 실천한 것이 오늘의 집 글의 내용이기 때문에 전반적 흐름은 Wayfair 글을 따르되 전반부는 오늘의 집 내용에 초점을 두어 다루겠습니다.
분석 방향성
TV 광고는 개인에 대한 추적이 불가능하기 때문에, 광고가 없었다면 달성되었을 지표(A) 대비 실제 지표(B)가 얼마나 증가하였는가(이하 증분)로 측정합니다. 광고가 없었다면 달성되었을 지표(A)를 baseline으로 표현하였는데요, 이 단계에서 어떻게 baseline을 구했는지 Wayfair 글에서는 명확하게 명시되지 않았습니다. 오늘의 집에서는 아래와 같이 만들었다고 명시하고 있습니다.
오늘의집의 분 단위 AU는 시간대에 따른 편차도 존재하지만, 요일별로도 유의미한 편차가 존재하는 것을 알 수 있습니다. 오늘의집의 경우 분 단위로도 충분한 유저 데이터가 존재하여, 요일과 분 별 편차가 고려된 베이스라인을 정의하는 것이 합리적일 것임을 확인했습니다.
이후 서비스의 최근 트렌드와 시즈널리티를 고려하여 적절한 베이스라인의 샘플 기간을 정의하였고, 이동평균을 활용해 베이스라인에 끼어있는 미세한 노이즈들을 smoothing하는 작업을 한 번 더 진행하였습니다. 이후 베이스라인과 캠페인 기간 동안의 실제 AU를 비교해 그 차이만큼을 증분으로 계산할 수 있었습니다.
위 내용에 추가로 직전 분 기준 baseline을 추가하셨다고 하는데 인용한 시계열 baseline과 직전 분 기준 baseline을 어떻게 가중치를 두어 계산했는지는 명시되지 않았습니다.
TV 광고는 유저 ID를 남기지 않지만 몇 명이 시청했는지는 알 수 있는 것 같은데요, Wayfair에서는 시청자 수 규모가 클수록 증분의 규모가 컸다며 이것을 TV 광고의 효과가 제대로 측정되고 있다는 증거라고 얘기했습니다.
슬롯별 증분
특정 광고의 영향으로 액션을 하는 유저 중에는 아주 뒤늦게 액션을 진행하는 경우도 있겠지만, 유의미한 시간은 광고 후 몇 분 내의 시간일 것입니다. 이렇게 몇 분 동안 증분값이 커지는 것을 spike라고 하고, spike의 지속시간을 window라고 이름 붙였는데요, 오늘의 집에서는 window size보다 짧은 시간 텀을 두고 광고가 진행되기도 하고 심지어는 동시에 다른 채널에서 광고가 나오기도 했다 합니다.
이때 특정 시간대에 생긴 spike는 여러 광고 슬롯의 증분이 합쳐진 값일 수 밖에 없고, 이에 적절하게 spike 중 얼마만큼이 특정 광고로 인한 증분인지 결정할 필요가 있습니다.
오늘의 집에서는 이전 증분 spike의 패턴을 통해 미리 이것을 결정하였다고 합니다.
산식을 조금 풀어쓰자면,
해당 시간대 총 증분 x (슬롯i의 시청자 수 x 슬롯i의 spike window 내 증분 비중) / sum(슬롯별 시청자 수 x 슬롯별 spike window 내 증분 비중)
이 개별 슬롯의 증분 수치가 되겠습니다. 고민하고 있던 내용을 합리적으로 잘 풀어낸 것처럼 보이는데요, 이 내용은 오늘의 집 블로그에만 있었던 내용이라 특히 좋았습니다!!
이렇게 spike를 통해 광고의 효과를 측정했는데요, 이를 통해 대략적으로 다음 지표들을 구할 수 있습니다.
- AU 증분
- Install 증분
- 유입전환율 = AU 증분 / 시청자수
- 유입당 단가 = 단가 / AU 증분 (Wayfair에서는 CPSV, Cost Per Spike Visitor로 표현)
- 인스톨당 단가 = 단가 / Install 증분
그런데, 아직 측정하지 못 한 것이 있습니다, 바로 매출인데요. 대부분 performance marketing에서 organic user보다 paid user의 매출액이나 구매 전환율이 낮듯이 TV 광고로 유입된 유저들도 매출액이나 구매 전환율이 낮을 수 있습니다. 혹은 반대로 우리가 아직까지 측정에 실패했을 뿐 TV 광고로 유입된 유저들이 매출 관점에서 좋은 유저일 수도 있겠죠. 더 나아가, 개별 TV 광고 소재마다 효과가 다를텐데 이 비교에도 매출 측정은 중요합니다. A광고는 싸고 유입에 도움이 되는 반면 B광고는 비싸고 유입에 A광고만큼만 도움이 된다면 A광고를 선택하는 것이 맞겠지만, 여기에 매출은 A광고가 도움이 안 되고 B광고는 도움이 된다면 B가 더 좋은 광고일 수도 있는거죠.
따라서 하루 매출액 x 하루 증분된 유저 수 비율로 TV 광고를 통한 매출 증가를 구하는 것은 잘못된 것이겠죠. 그런데 우리는 증분 방식의 계산을 했기 때문에 이들 개개인의 매출액이 얼마나 차이나는지 구하기 어렵습니다. 이제부터는 Wayfair 블로그 글 중심으로 해당 문제를 풀어보겠습니다.
증분 매출 구하기
위에서 언급했듯 organic보다 paid user의 매출, 구매 전환율이 다를 것이기 때문에 전체 매출 중 원래라면 들어오지 않았겠지만 광고를 통해 들어온 유저들의 매출을 발라내는 작업이 필요합니다. 그리고 이것이 어려운 작업인데 Wayfair에서는 synthetic control 방법을 사용해 문제를 해결했습니다. 글만 보면 제가 알던 synthtic control과 정확히 같은 로직은 아닌 것 같은데 합성 통제 그룹을 만든다는 점에서 비슷하긴 합니다. 큰 틀에서는 spike 방문자 수를 구했던 것을 매출로 바꾼 것 같습니다.
조금 더 방법론을 풀어보자면, 광고 후 window 기간 동안 접속한 유저와 일정 기간 동안 그 유저가 발생시킨 매출을 계산합니다. 그리고 광고 시간대 근처에 광고의 영향이 없었던 시기에 접속했던 유저들을 랜덤 추출합니다. 이 때 추출하는 유저 수는 방문자 수를 구할 때 baseline으로 썼던 유저 수만큼 추출합니다. 이 집단은 counterfactual control이 되고, 광고가 없었어도 들어왔을 유저들로 해석할 수 있습니다. 그리고 이들이 일정 기간 동안 발생시킨 매출을 계산하여 광고 기간 동안 접속한 유저의 매출에서 빼주면 그만큼이 매출 증분이 됩니다.
한 광고의 spike만으로 그 광고를 평가하기에는 불확실성이 높기 때문에, 개별 광고 소재들의 여러 시점에 거친 매출 spike 크기를 모아 분포를 확인해 편차를 반영한 전반적인 효과에 대해 확인했다고 합니다.
위의 시각 자료를 통해 재밌는 소재를 쓰면 매출이 더 잘 나오는구나, 특정 가구를 소개하는 방식의 소재가 매출이 더 잘 나오는구나 등등을 해석할 수 있겠죠?
(다음 내용은 제가 광고에 대한 배경지식이 없어 잘못 이해했을 수 있습니다)
TV 광고를 살 때 가지는 비슷한 특성끼리 묶어서 해당 특성별 종합적 효과를 추정할 수 있는데 이 때 Wayfair에서는 방송국에 따라 묶었습니다. 같은 방송국에서 광고된 100개의 광고를 모으고, 100개가 되지 않는다면 bootstrap 기법을 통해 100개를 채웁니다. 100개가 중요하다기보다는 단위를 맞춰주는 것이 중요하다고 보시면 되겠습니다. 100개 광고의 증분 매출을 각각 증분된 유저 수로 나눈 값을 RPSV(Revenue Per Spike Visitor)로 보고 이를 다시 CPSV(Cost Per Spike Visitor)로 나누면 TV 광고의 ROI가 나오게 됩니다. 100개의 ROI에 대해 신뢰구간 80%로 표현하면 아래와 같은 형태가 됩니다. 이를 통해 불확실성까지 표현한 ROI를 계산하여 광고관리 의사결정에 도움을 줄 수 있게 되었습니다.
해석에 대한 경고
정확한 측정이 어려운 것을 측정되도록 했기 때문에 발생하는 주의사항들이 있습니다. 유저 단위로 추적하는 방식이 아니기 때문에 정확한 spike 방문자 수를 구할 수 없습니다. 방문 수에는 소음이 섞여있기 때문입니다. 따라서 안정적으로 충분히 많은 방문자를 불러오는 광고일 때 적합한 방법이고, 적은 방문자를 유입하는 광고는 제대로 효과가 측정되지 않을 수 있습니다. 다행인 것은, 비싼 광고가 높은 매출 증분에 기여하는 경우가 많아 광고의 비싼 비용이 정당화 되었다고 합니다.
CPSV(Cost Per Spike Visitor), RPSV(Revenue Per Spike Visitor)를 해석할 때도 조심해야 하는데, 광고 후 몇 분 내에 추가적으로 유입되는 사람들에 대해서만 계산을 하기 때문에 실제로 영향을 받은 사람들에 비해 적게 계산될 여지가 있습니다. 퍼포먼스 마케팅에서 특정 광고 소재를 보고 10분이 지나서 유입된 사람은 계산이 되겠지만 우리가 다루는 TV 광고 측정에서는 이런 사람이 계산되지 않는 것이죠. 방문을 통해 계산되는 수익 역시 적게 계산되는데, 광고에 사용된 비용은 정확하게 계산되니 비용 대비 성과가 낮아 보일 수 있습니다. 따라서 TV 광고 효과는 같은 TV 광고끼리 비교하기에 적합하나, 후속 추적이 되는 광고와 서로 비교하기 적합하지 않습니다.
마지막으로 단기 효과를 측정하는 것이기 때문에 브랜드 인지도, 후광효과 등의 장기적인 효과를 측정하지 않습니다. 따러서 전체적인 ROI를 측정하는 것에는 적합하지 않으나 하루하루 캠페인 최적화를 하도록 관리하는 데에 도움을 줄 수 있습니다.
마치며
재미있었던 TV광고 효과 측정에 대해 좋은 레퍼런스들의 내용을 정리해봤습니다. 이 분석의 장점은 baseline을 모댈링하는 부분을 제외하면 비데이터 직군분들도 충분히 이해 가능할만큼 합리적이라는 점이었습니다. 현업에서 성공하는 분석은 고급 테크닉보다 논리성과 합리성이 중요한데, 전반적 분석 흐름이 대단히 합리적인 상태로 baseline 모델링만 약간 테크닉이 들어갔기 때문에 많은 회사에서 용인될만한 수준의 밸런스로 느껴졌습니다.
최근에는 상대적으로 TV광고보다 적은 돈으로 집행하는 소위 아파트 엘레베이터 광고(미디어보드 광고)가 많이 집행되고 있는데요, ‘이것의 효과를 측정해 볼 수도 있을까?’ 라는 생각을 하고 있습니다. 미디어보드는 TV광고와 다르게 몇 명이 시청했는지에 대해 알려줄 수 없기 때문에 위치 정보를 활용해야 할 것 같은데요. 이 때 묶이는 위치의 범위가 넓어 과대추정 되거나, 타겟 모수가 크지 않아서 과소추정 될 수도 있을 것 같아서 이를 어떻게 보정할 수 있을지를 생각하며 미뤄두고 있습니다. 관심 있으시면 같이 풀어봐도 좋겠네요!