Brand lift study 설계 — 광고가 인지·호감도를 끌어올렸나

“이 브랜드 캠페인 효과 있었어?”라는 질문은 ROAS로 답하기 어렵습니다. 브랜드 광고의 진짜 결과는 며칠 또는 몇 주 뒤에 인지·호감도·구매의향으로 나타나기 때문입니다. brand lift study는 그 변화를 노출 그룹과 비노출 그룹의 설문 응답 차이로 측정합니다. Meta·Google·YouTube가 자체 도구로 제공하지만, 설계 한 줄을 잘못 잡으면 결과 해석이 통째로 깨집니다.

마케터가 이 글을 읽어야 하는 이유: 브랜드 캠페인 예산 의사결정에서 “효과 있었다 vs 없었다”의 답을 데이터로 정리하지 않으면, 다음 분기 브랜드 예산이 늘 위협받습니다. brand lift study가 그 답을 정직하게 만드는 표준 도구이고, 마케터가 직접 점검할 5가지 디자인 결정이 있습니다. 그 결정 한 줄이 결과의 신뢰도 절반을 만듭니다.

1. Brand lift의 한 줄 직관

광고에 노출된 사람들과 노출되지 않은 사람들이 같은 설문에 어떻게 답하는가의 차이.

같은 사용자 풀에서 무작위로 두 그룹 추출 → 한 그룹은 광고 노출, 다른 그룹은 비노출(holdout) → 며칠 뒤 두 그룹 모두에게 같은 설문 → 응답 차이가 brand lift.

전형적 4개 KPI 문항:

노출 그룹 응답률이 비노출 그룹보다 +5%p 높다면, 그 5%p가 brand lift. 이게 광고 노출이 일으킨 인과 효과의 추정치입니다.

2. ROAS가 못 잡는 자리

브랜드 캠페인의 결과는 ROAS 보고서에서 거의 안 잡힙니다. 이유는 세 가지.

2-1. 시간 격차

브랜드 광고를 본 사용자가 며칠~몇 주 뒤에 검색·구매로 이어지는데, 그 사이에 다른 채널·이벤트가 끼어듭니다. 마지막 클릭 어트리뷰션에서는 검색 광고에 100% 공이 가고 브랜드 광고는 0.

2-2. 측정 한도

ROAS는 클릭과 직접 전환만 잡습니다. 인지도·호감도 변화는 ROAS에 안 들어옵니다. 측정 도구의 한계.

2-3. 자가 선택 편향

관심 있는 사람이 광고를 더 보고 더 구매합니다. 광고가 일으킨 효과가 아니라 원래 관심 있던 사람의 행동.

이 세 가지를 동시에 해결하는 설계가 brand lift study의 무작위 배정 + holdout. 인과 효과 추정의 표준 구조입니다.

3. 무작위 배정과 holdout

brand lift의 핵심은 무작위 배정입니다. 같은 사용자 풀에서 광고 노출 자격을 무작위로 결정. 노출 그룹과 holdout 그룹이 통계적으로 동일한 분포를 갖도록.

Meta·Google·YouTube의 brand lift 도구는 광고 자격을 가진 사용자 중 일정 비율(보통 10-20%)을 holdout으로 떼어두고, 그 그룹에는 광고를 노출하지 않습니다. 캠페인 종료 후 양 그룹에 같은 설문이 노출됩니다.

이 구조 안에서만 “광고가 일으킨 효과”가 정직하게 추정됩니다. holdout 없이 노출 그룹의 사전·사후만 비교하는 건 자연 변화·계절성을 잡지 못해 결과가 부풀려집니다.

4. 표본 크기 — 검출 가능 lift는 얼마?

brand lift는 표본이 충분해야 검출 가능합니다. 작은 캠페인에서는 lift가 있어도 검출 못 함.

표준 lift 검출 표본 크기 공식 (이항 비율 차이):

$\bar{p}$는 평균 응답률, $\delta$는 검출하고 싶은 lift, $z_{\alpha }=1.96$, $z_{\beta }=0.84$ (검출력 80%, 양측 5%).

예시: 인지 baseline 30%, 5%p lift 검출 (검출력 80%, 양측 5%).

• $\bar{p}=0.325$, $\delta =0.05$
• $n\approx \frac{(1.96+0.84{)}^2\cdot 2\cdot 0.325\cdot 0.675}{0.05^2}\approx 1376$

각 그룹 1376명, 총 약 2750명 응답 필요. 응답률 5% 가정 시 노출 약 5만 명, holdout 1.4만 명 = 캠페인 노출 6.4만 명+.

작은 lift를 검출하려면 표본이 폭증합니다. 1%p lift를 잡으려면 그룹당 3.3만 명.

5. 코드 한 묶음 — lift 검출 표본 계산

이게 글에 박는 유일한 코드입니다.

import numpy as np
from scipy import stats

def brand_lift_sample_size(
    baseline: float, mde: float, alpha: float = 0.05, power: float = 0.8
) -> int:
    """
    한 그룹당 응답 표본 크기 계산 (이항 비율 차이).
    baseline: 비노출 그룹 평균 응답률 (예: 0.30)
    mde: 검출하고 싶은 최소 lift (예: 0.05 = 5%p)
    alpha: 양측 유의수준 (기본 0.05)
    power: 검출력 (기본 0.80)
    """
    z_alpha = stats.norm.ppf(1 - alpha / 2)
    z_beta = stats.norm.ppf(power)
    p_bar = baseline + mde / 2
    n = (z_alpha + z_beta) ** 2 * 2 * p_bar * (1 - p_bar) / (mde ** 2)
    return int(np.ceil(n))

# 인지도 30% baseline, 5%p lift 검출
n_per_group = brand_lift_sample_size(0.30, 0.05)
print(f"그룹당 응답 표본: {n_per_group}")  # 1374

# 응답률 5% 가정 시 노출 표본
response_rate = 0.05
print(f"그룹당 노출 표본: {int(n_per_group / response_rate)}")  # 27480

# holdout 15% 비율로 가져갈 캠페인 도달
holdout_ratio = 0.15
exposed_size = int(n_per_group / response_rate)
total_reach = int(exposed_size / (1 - holdout_ratio))
print(f"필요한 캠페인 총 도달: {total_reach:,}명")  # 32,329

이 계산이 캠페인 도달 KPI와 lift 검출 가능성을 잇는 다리입니다. 캠페인 도달이 부족하면 lift study는 의미 있는 결과를 못 만듭니다.

6. 마케터 점검 5가지

brand lift study를 운영할 때 사전에 점검할 5가지.

6-1. KPI 한 가지를 명시하라

4개 KPI 모두 lift를 측정하려면 표본이 4배 필요합니다. 캠페인 시작 전 “이번 캠페인의 핵심 KPI는 인지도”처럼 하나를 명시하고 그 기준으로 표본을 잡습니다.

6-2. baseline을 미리 추정

baseline 응답률을 모르면 표본 계산이 무의미합니다. 비슷한 카테고리·비슷한 타겟의 과거 study를 참조해 baseline 추정. 처음이라면 30%로 가정하고 결과 받은 뒤 다음 study에서 정밀화.

6-3. holdout이 광고 노출에 새지 않는지

플랫폼이 holdout 그룹 사용자에게도 광고를 실수로 노출할 수 있습니다(다른 매체 spillover, 자연 검색 등). 이런 contamination이 일어나면 lift가 과소 추정됩니다. 가능한 한 한 캠페인의 holdout이 다른 캠페인의 노출 그룹과 겹치지 않게 운영.

6-4. 설문 응답률 사전 점검

응답률이 가정보다 낮으면(예: 5% 가정인데 실제 2%) 표본이 절반 이하가 되어 검출력이 무너집니다. 캠페인 시작 1주일 후 응답률을 점검하고 캠페인 도달을 늘릴 수 있는 여지 확보.

6-5. 결과 해석 시 lift의 절대치와 상대치 둘 다

“인지도 +5%p”는 절대치. “인지도가 30%에서 35%로 +17% 상승”은 상대치. 회의에서는 두 표현 모두 제시하면 의미가 명확해집니다.

7. Brand lift와 incrementality·MMM의 관계

brand lift는 인과 측정의 한 가지 도구입니다. 다른 두 도구와의 관계.

7-1. Incrementality (lift study)

판매·전환의 incrementality는 ROAS로 잡히지 않는 인과 효과를 측정. brand lift와 같은 무작위 배정 + holdout 구조이지만 KPI가 매출·전환. brand lift는 인지·호감도, lift study는 매출·전환 — 두 도구가 보완.

7-2. MMM (마케팅 믹스 모델링)

MMM은 채널별 시계열 회귀로 채널 기여도 추정. 장기·중기 시야이고 채널 비교가 강점. brand lift는 단기·캠페인 단위. MMM의 결과를 brand lift로 검증하는 triangulation이 표준.

세 도구를 분기 보고에 함께 두면 캠페인 의사결정의 근거가 입체적이 됩니다. 도구 비교는 MTA·MMM·Lift 비교에서 더 깊이 다룹니다.

8. 흔한 함정

• baseline 응답률을 모른 채 캠페인 시작 → 표본 부족으로 결론 못 냄
• KPI 4개 모두 동시 측정 → 표본 부족, 다중 비교 보정 필요
• holdout 너무 작음 (5% 이하) → 검출력 부족
• contamination 미점검 → lift 과소 추정
• 한 채널만 lift study, 나머지 채널 비교 불가 → 채널 간 lift 비교 어려움
• 결과 해석 시 통계적 유의성만 보고 실무적 크기 무시

9. 마치며 — 브랜드 예산을 지키는 데이터

brand lift study는 브랜드 캠페인의 예산 정당화를 위한 가장 표준적인 도구입니다. ROAS가 못 잡는 자리를 잡고, 무작위 배정으로 인과 효과를 정직하게 추정합니다. 다만 표본 크기·holdout 비율·KPI 선택 같은 디자인 결정 한 줄이 결과의 신뢰도 절반을 만듭니다. 마케터가 직접 점검할 5가지를 분기에 한 번씩 다듬으면 brand lift 결과가 회의에서 정직한 답이 됩니다.

다음 분기에 한 번만 시도해 볼 만한 것은 가장 큰 브랜드 캠페인 한 자리에 brand lift study를 정식으로 돌려 결과를 ROAS와 나란히 보고하는 흐름입니다. 한 번만 해보면 다음 분기부터 표준 양식이 됩니다.

다음에 읽을 글

• Incrementality 테스트 설계 — 매출·전환 KPI의 lift 측정
• MTA·MMM·Lift 비교 — 세 도구의 triangulation
• Geo-lift 인과추론 — 지역 단위 incrementality 측정

참고

• Google, “Brand lift study guide”: https://support.google.com/google-ads/answer/9049373
• Meta, “Brand lift studies”: https://www.facebook.com/business/help/1738164554307036
• YouTube, “Brand lift”: https://support.google.com/youtube/answer/9163927
• Nielsen, “Brand effect measurement”: https://www.nielsen.com/insights/brand-effect/
• “Lift studies in digital advertising” (Lewis & Rao 2015): https://academic.oup.com/qje/article/130/4/1941/1916613