huny.log

tag

#variance-reduction

2개의 글

통계·ML stratified-ab · post-stratification

Stratified A/B와 post-stratification — 세그먼트로 분산을 깎는 또 다른 길

CUPED는 사전 데이터로 분산을 깎습니다. 그런데 사전 데이터가 없을 때는? Stratified A/B는 세그먼트로 표본을 나눠 비교하고, post-stratification은 사후에 세그먼트별로 보정합니다. 같은 표본·같은 결정에 더 짧은 실험 기간으로 닿는 또 다른 분산 축소 도구.

통계·ML ab-testing · cuped

CUPED — A/B 테스트 표본을 절반으로 줄이는 분산 축소 기법

실험 기간을 줄이고 싶다면 표본을 늘리지 말고 분산을 깎아라. Microsoft·Netflix·Booking이 표준으로 쓰는 CUPED를 마케터 시각으로 풀어봅니다.