这个看板回答 "哪些活动效应是真的？"
之前 ADAM/MMM/ROI 给的都是 点估计 — 一个数字, 但没说"这个数字是真的, 还是统计噪声".
Bootstrap 1000 次 resampling 给每个 β 系数算 95% CI: 如果 CI 不跨 0 就是显著, 否则可能就是 noise.
Bootstrap 是 MMM 业内常用的 CI 估计法, 跟 PyMC MCMC 基本同效但快 100 倍 (14秒 vs 多小时).
维度选择
Forest Plot — β 系数 + 95% CI
显著性总览 (跨所有维度)
控制变量效应
业务读法
- 显著 (95% CI 不跨 0): 这活动对这维度真的有效, 不是 noise. 可以放心做决策.
- 不显著 (CI 跨 0): 数据不能确认效应方向. 要么真没效应, 要么数据不够.
- CI 宽窄: 越宽说明估计越不稳, 通常是稀疏活动 (期数少) 或共线性强 (天天开)
- 跟 ROI 看板配合: ROI 看 "贡献量级", 这里看 "是否显著". 两个一起读才完整.
- 跟 Optuna 看板对比: Optuna 跨拟合 CV R² 都负值; Bootstrap 是 in-sample 不确定性, R² 都 0.5+. 两个看不同问题.