tag
#experimentation
8개의 글
통계·ML bayesian · ab-testing
Bayesian A/B 테스트 심화 — prior 잡는 법과 HDI 해석
베이지안 A/B는 "p-value < 0.05"가 아니라 "B가 A보다 좋을 확률 0.92"를 줍니다. 그 확률이 정직하려면 prior를 잘 잡아야 하고, HDI를 잘못 읽으면 함정이 옵니다. 마케터 시선에서 prior·posterior·HDI 정리.
통계·ML ab-testing · power-analysis
Power analysis와 MDE — 실험 시작 전에 표본·기간을 정직하게 잡는 법
A/B 시작 전 "표본 얼마나 모아야?"의 답이 power analysis. 검출력 80%로 검출 가능한 최소 효과(MDE)를 미리 계산해 실험 기간·해석 한도를 명확히 잡는 흐름.
통계·ML did · causal-inference
Diff-in-Diff 인과추론 — 가격 인상·프로모션 종료의 진짜 효과를 분리하는 법
A/B 못 돌리는 마케팅 개입(가격 인상·프로모션 종료·UI 변경)의 진짜 효과를 어떻게 측정할까. 이중차분법(DiD)이 처리·대조군과 사전·사후 두 축을 동시에 빼주는 원리, 그리고 평행 추세 가정이 깨지면 무엇이 망가지는지.
통계·ML sequential-testing · ab-testing
Sequential testing — A/B 결과를 매일 들여다봐도 되는 통계 프레임
A/B 결과를 매일 보고 싶은 욕구는 본능에 가깝습니다. 그런데 매일 p-value 보고 멈추면 거짓 양성이 5%가 아니라 30%까지 부풀어요. Sequential testing은 "들여다봐도 되는" 통계 프레임을 만들어 줍니다. mSPRT·always-valid p-value의 직관과 마케팅 적용.
통계·ML stratified-ab · post-stratification
Stratified A/B와 post-stratification — 세그먼트로 분산을 깎는 또 다른 길
CUPED는 사전 데이터로 분산을 깎습니다. 그런데 사전 데이터가 없을 때는? Stratified A/B는 세그먼트로 표본을 나눠 비교하고, post-stratification은 사후에 세그먼트별로 보정합니다. 같은 표본·같은 결정에 더 짧은 실험 기간으로 닿는 또 다른 분산 축소 도구.
통계·ML ab-testing · cuped
CUPED — A/B 테스트 표본을 절반으로 줄이는 분산 축소 기법
실험 기간을 줄이고 싶다면 표본을 늘리지 말고 분산을 깎아라. Microsoft·Netflix·Booking이 표준으로 쓰는 CUPED를 마케터 시각으로 풀어봅니다.
통계·ML ab-testing · multi-armed-bandit
Multi-Armed Bandit vs A/B — 언제 어떤 걸 써야 하나
광고 운영 플랫폼의 Auto Optimize는 사실 Multi-Armed Bandit입니다. A/B 테스트와 어떻게 다르고, 언제 어떤 걸 써야 하는지 마케터 시각으로 정리.
통계·ML ab-testing · experimentation
A/B 테스트에서 흔히 빠뜨리는 5가지 — Peeking부터 SRM까지
실험을 매일 돌리는 마케팅·그로스팀이 자주 빠지는 통계적 함정 5가지를 케이스와 함께 풀어봅니다. 결과를 자신 있게 보고하기 위한 체크리스트.