如何启动 AB 测试
- 新建配置:
forecasting/ab_test_configs/<test_name>.json - 填字段:
{ "test_name": "礼包跳档 v2", "start_ds": "20260401", "end_ds": "20260430", "groups": { "control": {"sql_filter": "event_info['extra_2']='礼包跳档-对照组'"}, "experiment": {"sql_filter": "event_info['extra_2'] LIKE '礼包跳档-随付费额%'"} } } - 跑:
python tools/ab_test_runner.py --config ab_test_configs/your_test.json - 结果自动写到
web/data/ab_test_<name>.json, 这页会自动列出 - 每天 13:30 auto_post_event 会重跑所有 ab_test_configs/*.json (持续监控)
已完成 / 进行中 AB 测试
加载中... 如长时间停在此 = JS error, 看 console.
统计指标说明
- p-value: 假设两组无差异下, 看到当前差异的概率. p < 0.05 = 显著差异
- Cohen's d: effect size, 0.2 小, 0.5 中, 0.8 大. 不受样本量影响
- 决策规则:
- ship_experiment — p<0.05 且 实验组 ARPU 高
- reject_experiment — p<0.05 且 实验组 ARPU 低
- inconclusive — p≥0.05, 差异不显著, 继续观察 / 加样本
- 注意: 测试期间不能多次"提前看", 以免 p-hacking. 提前定终止条件 (e.g. 30 天 / 1 万玩家)