⚠ 重要警告: CV R² 全是负值
time-series 5-fold CV 的 R² 都是负值, 意味着模型用历史训练出来的参数在未来段 OOS 预测时, 比"用均值预测"还差.
这是过拟合的典型信号: 32 个超参 (16 λ + 16 κ) + 23 列特征 + 仅 179 天训练数据 → 模型记住了 noise 而非 signal.
Optuna 提升 48% 是把"很差"变成"较差". in-sample R² 高 ≠ 真有预测力.
总分对比
各维度 CV R² Manual vs Optuna
Adstock λ (半衰期) Manual vs Optuna
Hill κ (饱和点) Manual vs Optuna
Optuna 推荐 vs 业务直觉差异
| 类型 | Manual λ | Optuna λ | Δλ | Manual t½ (天) | Optuna t½ | Manual κ | Optuna κ | 业务解读 |
|---|
什么时候用 Optuna 参数？
- 不要直接用 Optuna 参数做生产预测 — CV R² 负值说明它过拟合了, 没真泛化能力
- 当作"sensitivity analysis" — Optuna 找的 λ 大幅偏离手标的活动 (比如创角七天 0.85→0.15) 提醒你: 业务直觉可能错
- 真要用调参: 需要 Bayesian Hierarchical (Stage E PyMC) 加 strong prior, 数据量上 6 个月→1 年, 才能稳
- 当前 mmm_standard 的手标参数 — 业务可解释 + 不过拟合 (因为没在 noise 上调参) → 仍是当前推荐
- 结论: Optuna 验证了"自动调超参在小样本不稳", 反而支持手标策略