ROAS 보고서가 늘 거짓말하는 이유 — incrementality 3대장

“Meta 대시보드에 ROAS 5라고 떠요. 그런데 그 캠페인 끄니까 매출이 안 떨어져요.” 퍼포먼스 마케터라면 한 번쯤 겪는 장면입니다. 플랫폼이 보고하는 ROAS는 대부분 부풀려져 있습니다. 거짓말을 하려는 게 아니라, 측정하는 질문 자체가 다르기 때문입니다. 이 글은 ROAS가 왜 늘 실제보다 커 보이는지, last-click·view-through·incremental 세 가지 ROAS가 어떻게 다른지, 그리고 진짜 증분(incrementality)을 재는 세 가지 실험 방법을 마케터 시선으로 정리합니다. 코드 없이, 의사결정 관점에서요.

플랫폼 ROAS가 부풀려지는 구조

문제의 뿌리는 단순합니다. 광고 플랫폼은 자기가 보여준 광고에 자기가 전환을 귀속시킵니다. 채점하는 사람과 시험 보는 사람이 같은 셈입니다.

예를 들어 이미 당신 브랜드를 사려고 마음먹은 사람이 있다고 합시다. 이 사람이 검색하다 당신의 리타게팅 광고를 한 번 보고 구매했다면, Meta는 이 매출을 “내 광고 덕분”이라고 보고합니다. 하지만 그 광고가 없었어도 이 사람은 샀을 겁니다. 이걸 자기 귀속 편향(self-attribution bias)이라고 합니다.

세 가지 ROAS — 같은 이름, 다른 숫자

ROAS라고 다 같은 ROAS가 아닙니다. 적어도 셋을 구분해야 합니다.

구분	무엇을 세는가	보통 크기	신뢰도
Last-click ROAS	마지막 클릭에 전환을 몰아줌	중간	낮음
View-through ROAS	광고를 보기만 해도 귀속	가장 큼	매우 낮음
Incremental ROAS	광고가 추가로 만든 매출만	가장 작음	높음

Last-click은 고객 여정의 마지막 클릭 하나에 100% 공을 몰아줍니다. 그 앞의 검색·콘텐츠·입소문은 전부 0점 처리됩니다.

View-through는 한 술 더 떠서, 광고를 클릭하지 않고 보기만 해도(예: 피드를 스크롤하다 1초 노출) 전환을 귀속합니다. 그래서 가장 부풀려집니다. ROAS가 비현실적으로 높다면 view-through가 섞였는지 먼저 의심하세요.

Incremental만이 “광고가 없었다면 안 났을 매출”을 셉니다. 그래서 가장 작고, 가장 정직합니다.

증분(incrementality)이란 무엇인가

증분의 정의는 반사실(counterfactual)에서 나옵니다. “광고에 노출된 세계의 매출”과 “노출되지 않은 세계의 매출”의 차이입니다.

Lift = 매출_{노출군} - 매출_{대조군}

이걸 광고비로 나누면 진짜 ROAS, 즉 증분 ROAS가 됩니다.

i R O A S = \frac{매출 _{노출군} - 매출 _{대조군}}{광고비}

문제는 같은 사람을 “광고를 본 세계”와 “안 본 세계”에 동시에 둘 수 없다는 점입니다. 그래서 통계가 필요합니다. 충분히 비슷한 두 집단을 만들어 한쪽만 광고에 노출시키고, 매출 차이를 봅니다. 이게 모든 증분 측정의 공통 골격입니다.

광고 노출군과 대조군의 매출 차이로 증분(lift)을 측정하는 반사실 구조를 보여주는 다이어그램 — 증분은 두 세계의 차이다 — 노출군과 비슷한 대조군을 만들고, 매출 차이만큼이 진짜 광고 효과다.

측정법 1 — Holdout / Geo-lift

가장 직관적인 방법은 일부를 일부러 광고에서 빼는 것입니다.

유저 단위 holdout은 전체 타깃의 일정 비율(예: 10%)을 무작위로 골라 광고를 안 보여줍니다. 캠페인이 끝난 뒤 노출군과 holdout군의 전환율을 비교하면, 그 차이가 광고의 순효과입니다. 무작위 배정이라 두 집단이 통계적으로 같다고 볼 수 있어 인과 해석이 깨끗합니다.

유저 단위 배정이 어려우면(쿠키 제약 등) geo-lift를 씁니다. 도시·지역을 둘로 나눠 한쪽에만 광고를 집행하고, 매출 추이를 비교합니다. “광고 안 한 도시”가 반사실 역할을 합니다.

측정법 2 — Ghost ads / PSA

Holdout의 약점은, 대조군이 “광고를 받을 자격이 있었는데 안 받은” 게 아니라 그냥 노출이 없었다는 점입니다. 진짜 비교는 “같은 경매에서 이겼지만 광고를 안 보여준 가상의 상태”여야 합니다. 이걸 흉내 내는 게 두 방법입니다.

Ghost ads는 대조군에게도 광고 경매를 똑같이 돌리되, 이겼을 때 실제 광고 대신 아무것도 보여주지 않고 “여기 광고가 나갔을 것”만 기록합니다. 그래서 노출군과 대조군이 경매 단계까지 완전히 동일해, 편향이 가장 적습니다.

PSA(공익광고) 방식은 대조군에게 당신 광고 대신 무관한 공익광고를 보여줍니다. “광고 자리는 채우되 메시지는 무관”하게 만들어, 단순 노출 효과를 통제합니다.

측정법 3 — 플랫폼 내장 Conversion Lift

직접 실험을 설계하기 부담스럽다면, 매체가 제공하는 Conversion Lift study를 쓸 수 있습니다. Meta·Google 등은 내부적으로 노출군과 대조군을 무작위 분리해 lift를 측정해 주는 도구를 제공합니다.

장점은 매체 데이터에 직접 접근하므로 유저 매칭이 정확하고 운영이 쉽다는 것. 단점은 측정 주체가 다시 매체 자신이라는 점, 그리고 최소 예산·전환 수 요건이 있다는 점입니다. 그래도 view-through ROAS만 보던 것에 비하면 비교가 안 될 만큼 정직한 숫자입니다.

마케터가 보고서를 읽는 실무 체크리스트

세 측정법을 다 돌릴 여유가 없어도, 대시보드 숫자를 읽는 눈은 당장 바꿀 수 있습니다.

어떤 ROAS인지 먼저 확인: view-through가 섞였는지, 어트리뷰션 윈도가 며칠인지(7일 클릭? 1일 뷰?)
리타게팅을 따로 본다: 리타게팅 ROAS는 거의 항상 부풀려진다. 이미 살 사람을 다시 맞히기 때문
브랜드 검색 캠페인 의심: 자기 브랜드명 검색에 광고를 거는 건 증분이 낮을 때가 많다
증분 할인 계수를 만든다: 한 번이라도 lift study를 돌리면 “대시보드 ROAS × 0.x = 증분 ROAS”의 계수를 얻는다. 이후 보고서에 곱해 읽는다

마치며

ROAS는 거짓말을 한다기보다, 당신이 묻지 않은 질문에 답하고 있습니다. 플랫폼 ROAS는 “내 광고에 귀속된 매출”을 답하고, 당신이 진짜 알고 싶은 건 “내 광고가 추가로 만든 매출”입니다. 둘 사이의 간극이 곧 증분입니다.

가장 먼저 할 일은 거창한 실험이 아니라, 지금 보는 보고서가 어떤 ROAS인지 확인하고 view-through를 떼어 보는 것입니다. 그다음 가능한 채널에서 holdout이나 lift study를 한 번 돌려 증분 할인 계수를 만들면, 이후 모든 보고서를 정직하게 읽을 수 있습니다.