category
통계·ML
A/B 테스트·베이지안·인과추론. · 29편
통계·ML ab-testing · experiment-platform
마케팅 실험 플랫폼 설계 — 사내 A/B 시스템의 5가지 원칙
광고 플랫폼 자체 A/B로는 부족하고 외부 SaaS는 비쌉니다. 사내 마케팅 실험 플랫폼을 설계할 때 깔아야 할 split assignment·exposure log·SRM 검정·sequential safe·메타 표준 5가지 원칙.
통계·ML bayesian · ab-testing
Bayesian A/B 테스트 심화 — prior 잡는 법과 HDI 해석
베이지안 A/B는 "p-value < 0.05"가 아니라 "B가 A보다 좋을 확률 0.92"를 줍니다. 그 확률이 정직하려면 prior를 잘 잡아야 하고, HDI를 잘못 읽으면 함정이 옵니다. 마케터 시선에서 prior·posterior·HDI 정리.
통계·ML causal-inference · doubly-robust
Doubly robust estimation — IPW와 outcome 모델의 결합으로 인과 추정 안정화
PSM·IPW는 propensity 모델이 틀리면 무너지고, 회귀는 outcome 모델이 틀리면 무너집니다. doubly robust는 두 모델을 결합해 둘 중 하나만 맞으면 정직한 효과 추정. 마케팅 인과 분석의 안전판.
통계·ML causal-inference · cate
Heterogeneous treatment effects — 평균 효과 너머의 개인별 효과
A/B 평균 효과 +5%p가 모든 사람에게 같지 않습니다. 일부에게는 +20%p, 일부에게는 -3%p. CATE·uplift forest로 효과의 이질성을 추정해 타겟 마케팅을 정밀화하는 흐름.
통계·ML ab-testing · power-analysis
Power analysis와 MDE — 실험 시작 전에 표본·기간을 정직하게 잡는 법
A/B 시작 전 "표본 얼마나 모아야?"의 답이 power analysis. 검출력 80%로 검출 가능한 최소 효과(MDE)를 미리 계산해 실험 기간·해석 한도를 명확히 잡는 흐름.
통계·ML causal-inference · psm
Propensity score matching — 무작위 배정이 안 되는 자리에서 인과 효과 추정
광고를 본 사람과 안 본 사람을 그냥 비교하면 자가 선택 편향이 큽니다. PSM은 두 그룹을 비슷한 특성으로 매칭해 비교가 가능한 짝을 만듭니다. 마케팅 자리에 적용하는 PSM 워크플로.
통계·ML time-series · prophet
Prophet과 CausalImpact — 시계열 예측과 캠페인 인과 효과
Prophet은 시즌·트렌드를 자동 분리해 예측을 단순화하고, CausalImpact는 그 예측을 baseline으로 캠페인 효과를 추정합니다. 마케팅 자리의 두 도구 결합 사용 패턴.
통계·ML causal-inference · rdd
Regression Discontinuity — 정책 cutoff 주변에서 인과 효과 잡기
쿠폰을 일정 점수 이상에게만 발급하면 그 cutoff 바로 위·아래 사용자들은 비슷한데 처리만 다릅니다. RDD가 그 자연 실험을 활용해 인과 효과를 추정합니다. 마케팅 자리의 적용과 함정.
통계·ML cace · late
CACE와 LATE — 쿠폰 받았지만 안 쓴 사람이 섞인 실험에서 진짜 효과 분리하기
쿠폰을 받은 유저 중 절반만 실제로 썼습니다. 효과 비교를 누구 기준으로 하나요. ITT는 받은 사람 전체로 보수적, CACE/LATE는 진짜 쓴 사람의 효과를 분리합니다. 부분 준수(non-compliance) 환경에서 인과 효과를 다루는 표준 도구.
통계·ML cold-start · thompson-sampling
Cold start 문제 — 신규 유저·신규 상품·신규 캠페인에 Thompson Sampling으로 답하는 법
신규 유저는 행동 이력이 없고, 신규 상품은 노출 이력이 없고, 신규 캠페인은 성과 이력이 없습니다. 정보 없이 추천·입찰·예산 분배를 어떻게 할까요. Thompson Sampling은 "탐색·활용 균형"의 베이지안 답을 가장 단순하게 줍니다. 마케팅 cold start 문제의 표준 도구.
통계·ML conformal-prediction · uncertainty
Conformal Prediction — 광고 예측에 "90% 확실" 보증을 분포 가정 없이 붙이기
CTR 0.034, LTV 12만원. 점추정 한 숫자만 던져진 예측은 위험합니다. Conformal Prediction은 분포 가정 없이 "이 예측이 90% 확률로 맞는 구간"을 붙여줍니다. 마케팅 예산 배분·소재 선별·LTV 추정에 그대로 쓸 수 있는 distribution-free 신뢰구간.
통계·ML cross-validation · k-fold
Cross-validation 기초 — 진짜 모델 성능을 측정하는 자리
학습 정확도 95% / 운영 정확도 60%의 함정은 검증 분할이 잘못됐기 때문입니다. cross-validation은 같은 데이터를 여러 번 쪼개 학습·평가해 진짜 일반화 능력을 측정합니다. K-fold·시계열 CV·운영 적용까지, ML 기초의 마지막 자리.
통계·ML did · causal-inference
Diff-in-Diff 인과추론 — 가격 인상·프로모션 종료의 진짜 효과를 분리하는 법
A/B 못 돌리는 마케팅 개입(가격 인상·프로모션 종료·UI 변경)의 진짜 효과를 어떻게 측정할까. 이중차분법(DiD)이 처리·대조군과 사전·사후 두 축을 동시에 빼주는 원리, 그리고 평행 추세 가정이 깨지면 무엇이 망가지는지.
통계·ML evaluation · metrics
평가 지표 도구상자 — accuracy·precision·recall·AUC·MAPE 어디 쓸지
같은 모델·같은 데이터에 어떤 지표를 보느냐가 결론을 통째로 바꿉니다. accuracy 95%면 좋은 거? 클래스 불균형이면 의미 없을 수 있어요. 회귀·분류 평가 지표를 자리별로 정리한 운영 도구상자.
통계·ML synthetic-did · causal-inference
Geo·시간 혼합 인과추론 — Synthetic DiD로 채널 incrementality 보정
DiD는 시간축, Geo-lift는 공간축. 둘 다 단축이라 가정이 종종 무너집니다. Synthetic DiD는 두 축을 한 추정량으로 묶어 평행 추세 가정의 부담을 덜어줍니다. TV+디지털 동시 변경 같은 다중 처리에서도 채널 incrementality를 안정적으로 잡는 도구.
통계·ML loss-function · gradient-descent
손실 함수와 학습 — 모델이 데이터에서 배우는 방식의 직관
"모델이 학습한다"의 안에서 무엇이 일어나는지 한 번도 안 들여다보면 머신러닝이 신비로 남습니다. 손실 함수·gradient descent의 한 줄 직관 — "오차를 어떻게 줄이나" — 만 잡으면 회귀·분류·딥러닝이 같은 원리로 보입니다.
통계·ML multiple-testing · fdr
Multiple testing 보정 — 메트릭 10개 동시에 보면 거짓 양성을 어떻게 통제하나
A/B 결과 페이지에서 메트릭을 10개 보면 적어도 1개는 우연히 p ≤ 0.05가 됩니다. 그 1개를 효과 있다고 보고하면 거짓 양성. Bonferroni·Benjamini-Hochberg(BH) 보정으로 거짓 양성률을 통제하는 두 가지 표준 도구를 마케터 시각으로.
통계·ML overfitting · regularization
Overfitting과 정규화 — 외운 모델 vs 일반화하는 모델
학습 데이터에서 99% 정확도, 새 데이터에서 60% — 가장 흔한 ML 함정 overfitting입니다. 모델이 데이터를 외운 자리. L1·L2·Dropout·Early Stopping 같은 정규화로 일반화하는 모델로 만드는 방법, 마케터·운영자가 알아야 할 핵심 직관.
통계·ML regression · classification
회귀와 분류 — 마케터가 가장 자주 만나는 두 머신러닝 모델 가족
"이 유저의 LTV는 얼마?" "이 유저가 이탈할까?" 두 질문이 머신러닝의 두 가족 — 회귀와 분류 — 의 출발점입니다. 무엇이 다르고 어디 쓰는지·어떻게 평가하는지를 한 글로 정리. ML 기초 체력의 첫 자리.
통계·ML sequential-testing · ab-testing
Sequential testing — A/B 결과를 매일 들여다봐도 되는 통계 프레임
A/B 결과를 매일 보고 싶은 욕구는 본능에 가깝습니다. 그런데 매일 p-value 보고 멈추면 거짓 양성이 5%가 아니라 30%까지 부풀어요. Sequential testing은 "들여다봐도 되는" 통계 프레임을 만들어 줍니다. mSPRT·always-valid p-value의 직관과 마케팅 적용.
통계·ML stratified-ab · post-stratification
Stratified A/B와 post-stratification — 세그먼트로 분산을 깎는 또 다른 길
CUPED는 사전 데이터로 분산을 깎습니다. 그런데 사전 데이터가 없을 때는? Stratified A/B는 세그먼트로 표본을 나눠 비교하고, post-stratification은 사후에 세그먼트별로 보정합니다. 같은 표본·같은 결정에 더 짧은 실험 기간으로 닿는 또 다른 분산 축소 도구.
통계·ML switchback · experiment-design
Switchback experiment — 같은 유저에게 ON/OFF를 번갈아 적용하는 실험 설계
두 안을 동시에 보여주면 서로 영향을 주는 시장에서는 A/B가 깨집니다. 양면 시장·물류·실시간 입찰처럼 처리·대조군이 같은 풀을 공유할 때, switchback은 시간을 잘라 ON/OFF를 번갈아 적용합니다. 마케터가 알아야 할 또 다른 실험 설계.
통계·ML bayesian · funnel
퍼널 드롭오프를 베이지안으로 — "전환율 2.1%인데 진짜?"에 답하기
신규 캠페인 첫 주, 방문 1,200명 중 구매 25명. 전환율 2.08%라고 보고하면 다음 주에 다시 흔들립니다. Beta-Binomial로 신뢰구간을 함께 보고하는 베이지안 퍼널 분석.
통계·ML ab-testing · cuped
CUPED — A/B 테스트 표본을 절반으로 줄이는 분산 축소 기법
실험 기간을 줄이고 싶다면 표본을 늘리지 말고 분산을 깎아라. Microsoft·Netflix·Booking이 표준으로 쓰는 CUPED를 마케터 시각으로 풀어봅니다.
통계·ML causal-inference · geo-lift
Geo-lift 실험으로 인과추론 — 광고 안 한 도시와 비교하기
TV·OOH·오프라인 매장처럼 A/B 테스트가 안 되는 채널의 진짜 효과를 어떻게 측정할까. 도시·지역 단위 실험과 합성 대조군(Synthetic Control)으로 인과 효과를 분리하는 법.
통계·ML ab-testing · multi-armed-bandit
Multi-Armed Bandit vs A/B — 언제 어떤 걸 써야 하나
광고 운영 플랫폼의 Auto Optimize는 사실 Multi-Armed Bandit입니다. A/B 테스트와 어떻게 다르고, 언제 어떤 걸 써야 하는지 마케터 시각으로 정리.
통계·ML simpsons-paradox · segmentation
Simpson's Paradox가 마케터 보고서에 숨는 법 — 전체와 세그먼트가 정반대를 말할 때
전체로는 A안이 좋아 보이는데 모든 세그먼트별로는 B안이 좋다? 이게 Simpson's Paradox입니다. 실제 광고·CRM·실험 보고서에 빈번하게 숨어있는 통계 함정과 잡아내는 법.
통계·ML uplift · causal-ml
Uplift 모델링 — "쿠폰 줘도 살 사람 vs 줘야 사는 사람" 가르기
리텐션·CRM 캠페인에서 가장 비싼 실수는 "어차피 살 사람한테 쿠폰 주는 것". Uplift 모델링은 캠페인이 정말 효과를 만든 사람만 골라냅니다. 4가지 페르소나와 T-Learner·X-Learner의 직관.
통계·ML ab-testing · experimentation
A/B 테스트에서 흔히 빠뜨리는 5가지 — Peeking부터 SRM까지
실험을 매일 돌리는 마케팅·그로스팀이 자주 빠지는 통계적 함정 5가지를 케이스와 함께 풀어봅니다. 결과를 자신 있게 보고하기 위한 체크리스트.