Simpson's Paradox가 마케터 보고서에 숨는 법 — 전체와 세그먼트가 정반대를 말할 때

import pandas as pd
import numpy as np

# ── 1. 가상 데이터 생성 ──────────────────────────────────────
df = pd.DataFrame({
    "variant":  ["A"]*10000 + ["B"]*10000,
    "segment":  (["new"]*1000  + ["existing"]*9000) +
                (["new"]*9000  + ["existing"]*1000),
    "converted": (
        [1]*30 + [0]*970 + [1]*540 + [0]*8460 +    # A안: 신규 3.0%, 기존 6.0%
        [1]*360 + [0]*8640 + [1]*70 + [0]*930      # B안: 신규 4.0%, 기존 7.0%
    ),
})

# ── 2. 전체 비교 ─────────────────────────────────────────────
overall = (
    df.groupby("variant")["converted"]
    .agg(conversions="sum", impressions="count", rate="mean")
    .round(4)
)
print("=== 전체 전환율 ===")
print(overall)
# 출력:
#          conversions  impressions    rate
# variant
# A               570        10000  0.0570   ← 전체로는 A가 더 높아 보임
# B               430        10000  0.0430

# ── 3. 세그먼트별 비교 ───────────────────────────────────────
seg = (
    df.groupby(["segment", "variant"])["converted"]
    .agg(conversions="sum", impressions="count", rate="mean")
    .round(4)
)
print("\n=== 세그먼트별 전환율 ===")
print(seg)
# 출력:
#                    conversions  impressions    rate
# segment  variant
# existing A               540         9000  0.0600
#          B                70         1000  0.0700   ← 기존 유저에서도 B가 더 높음
# new      A                30         1000  0.0300
#          B               360         9000  0.0400   ← 신규 유저에서도 B가 더 높음

# ── 4. Simpson's Paradox 자동 탐지 함수 ─────────────────────
def detect_simpsons(df, group_col, segment_col, metric_col, higher_is_better=True):
    """
    Simpson's Paradox 탐지기.

    Parameters
    ----------
    df              : DataFrame
    group_col       : 비교할 그룹 컬럼 (예: "variant")
    segment_col     : 층화 기준 컬럼 (예: "segment")
    metric_col      : 결과 컬럼 (예: "converted")
    higher_is_better: True면 mean이 높을수록 좋음

    Returns
    -------
    dict with keys:
        overall_winner    : 전체 기준 승자
        segment_winner    : 세그먼트별 승자 (세그먼트마다)
        paradox_detected  : Simpson's Paradox 발생 여부
        summary           : 요약 문자열
    """
    groups = df[group_col].unique()
    if len(groups) != 2:
        raise ValueError("group_col은 정확히 2개 값이어야 합니다.")

    g0, g1 = groups

    # 전체 평균
    overall_means = df.groupby(group_col)[metric_col].mean()
    if higher_is_better:
        overall_winner = overall_means.idxmax()
    else:
        overall_winner = overall_means.idxmin()

    # 세그먼트별 평균
    seg_means = df.groupby([segment_col, group_col])[metric_col].mean().unstack(group_col)
    if higher_is_better:
        seg_winners = seg_means.idxmax(axis=1)
    else:
        seg_winners = seg_means.idxmin(axis=1)

    # 역설 감지: 전체 승자 ≠ 모든 세그먼트 승자
    all_seg_same = (seg_winners == seg_winners.iloc[0]).all()
    if all_seg_same and seg_winners.iloc[0] != overall_winner:
        paradox_detected = True
        summary = (
            f"⚠️  Simpson's Paradox 감지!\n"
            f"   전체 승자: {overall_winner} "
            f"(mean={overall_means[overall_winner]:.4f})\n"
            f"   모든 세그먼트 승자: {seg_winners.iloc[0]}\n"
            f"   → 세그먼트 분리 결과를 우선 신뢰하세요."
        )
    else:
        paradox_detected = False
        summary = f"✅  역설 없음. 전체 승자: {overall_winner}"

    return {
        "overall_winner": overall_winner,
        "segment_winners": seg_winners.to_dict(),
        "paradox_detected": paradox_detected,
        "summary": summary,
    }

result = detect_simpsons(df, "variant", "segment", "converted")
print("\n" + result["summary"])
# 출력:
# ⚠️  Simpson's Paradox 감지!
#    전체 승자: A (mean=0.0570)
#    모든 세그먼트 승자: B
#    → 세그먼트 분리 결과를 우선 신뢰하세요.

# 타겟 트래픽 구성(신규 50%, 기존 50%)으로 가중평균
target_weights = {"new": 0.5, "existing": 0.5}

seg_rate = df.groupby(["segment", "variant"])["converted"].mean()

for variant in ["A", "B"]:
    weighted = sum(
        seg_rate[seg][variant] * w
        for seg, w in target_weights.items()
    )
    print(f"{variant}: {weighted:.4f}")
# A: (0.0300 × 0.5) + (0.0600 × 0.5) = 0.0450
# B: (0.0400 × 0.5) + (0.0700 × 0.5) = 0.0550  ← B가 정답

유저 타입(신규/기존)
    │
    ├──────────────► 캠페인 배정(A vs B)
    │                       │
    │                       │
    └──────────────► 전환율 ◄──┘