#peeking

통계·ML sequential-testing · ab-testing

Sequential testing — A/B 결과를 매일 들여다봐도 되는 통계 프레임

A/B 결과를 매일 보고 싶은 욕구는 본능에 가깝습니다. 그런데 매일 p-value 보고 멈추면 거짓 양성이 5%가 아니라 30%까지 부풀어요. Sequential testing은 "들여다봐도 되는" 통계 프레임을 만들어 줍니다. mSPRT·always-valid p-value의 직관과 마케팅 적용.