tag
#ab-testing
8개의 글
통계·ML ab-testing · experiment-platform
마케팅 실험 플랫폼 설계 — 사내 A/B 시스템의 5가지 원칙
광고 플랫폼 자체 A/B로는 부족하고 외부 SaaS는 비쌉니다. 사내 마케팅 실험 플랫폼을 설계할 때 깔아야 할 split assignment·exposure log·SRM 검정·sequential safe·메타 표준 5가지 원칙.
통계·ML bayesian · ab-testing
Bayesian A/B 테스트 심화 — prior 잡는 법과 HDI 해석
베이지안 A/B는 "p-value < 0.05"가 아니라 "B가 A보다 좋을 확률 0.92"를 줍니다. 그 확률이 정직하려면 prior를 잘 잡아야 하고, HDI를 잘못 읽으면 함정이 옵니다. 마케터 시선에서 prior·posterior·HDI 정리.
통계·ML ab-testing · power-analysis
Power analysis와 MDE — 실험 시작 전에 표본·기간을 정직하게 잡는 법
A/B 시작 전 "표본 얼마나 모아야?"의 답이 power analysis. 검출력 80%로 검출 가능한 최소 효과(MDE)를 미리 계산해 실험 기간·해석 한도를 명확히 잡는 흐름.
통계·ML multiple-testing · fdr
Multiple testing 보정 — 메트릭 10개 동시에 보면 거짓 양성을 어떻게 통제하나
A/B 결과 페이지에서 메트릭을 10개 보면 적어도 1개는 우연히 p ≤ 0.05가 됩니다. 그 1개를 효과 있다고 보고하면 거짓 양성. Bonferroni·Benjamini-Hochberg(BH) 보정으로 거짓 양성률을 통제하는 두 가지 표준 도구를 마케터 시각으로.
통계·ML sequential-testing · ab-testing
Sequential testing — A/B 결과를 매일 들여다봐도 되는 통계 프레임
A/B 결과를 매일 보고 싶은 욕구는 본능에 가깝습니다. 그런데 매일 p-value 보고 멈추면 거짓 양성이 5%가 아니라 30%까지 부풀어요. Sequential testing은 "들여다봐도 되는" 통계 프레임을 만들어 줍니다. mSPRT·always-valid p-value의 직관과 마케팅 적용.
통계·ML ab-testing · cuped
CUPED — A/B 테스트 표본을 절반으로 줄이는 분산 축소 기법
실험 기간을 줄이고 싶다면 표본을 늘리지 말고 분산을 깎아라. Microsoft·Netflix·Booking이 표준으로 쓰는 CUPED를 마케터 시각으로 풀어봅니다.
통계·ML ab-testing · multi-armed-bandit
Multi-Armed Bandit vs A/B — 언제 어떤 걸 써야 하나
광고 운영 플랫폼의 Auto Optimize는 사실 Multi-Armed Bandit입니다. A/B 테스트와 어떻게 다르고, 언제 어떤 걸 써야 하는지 마케터 시각으로 정리.
통계·ML ab-testing · experimentation
A/B 테스트에서 흔히 빠뜨리는 5가지 — Peeking부터 SRM까지
실험을 매일 돌리는 마케팅·그로스팀이 자주 빠지는 통계적 함정 5가지를 케이스와 함께 풀어봅니다. 결과를 자신 있게 보고하기 위한 체크리스트.