01
数据整理
统一期次、字段与编码，检查缺失、重复和异常记录。
Model overview
一个预测模型究竟包含什么？
算法不是单独存在的公式，而是一条完整的信息处理链。数据质量、特征定义、验证方法和解释方式，都会影响最终输出的可信程度。
02
特征构造
把原始记录转换为频次、间隔、结构或序列等可计算变量。
03
模型训练
选择假设与算法，让模型从训练样本中估计参数或识别模式。
04
样本外验证
使用未参与训练的数据，检查模型是否具有稳定的泛化表现。
05
输出与解释
以评分、区间或排序呈现，并同步说明假设、误差与限制。
先理解随机性，再理解模型
历史数据可以用于描述分布、比较方法和测试假设，但不能消除随机事件本身的不确定性。模型输出应被视为分析参考，而不是确定结果或收益承诺。
Feature inputs
模型看见的不是号码，而是特征
特征工程把原始历史记录变成可比较的数值。每一种特征都隐含假设，因此需要检查计算窗口、信息时点以及是否引入未来数据。
输入检查清单
- 数据在预测时点是否真实可用？
- 统计窗口是否保持一致？
- 缺失值和异常值如何处理？
- 特征是否重复表达同一信息？
描述型
频次与占比
统计某个观察窗口内的出现次数、相对占比及其变化，用于描述历史分布，而非证明未来必然延续。
时序型
间隔与遗漏
描述两次观察事件之间的期数距离。较长间隔只是历史状态，不意味着下一期更容易发生。
结构型
组合结构
把和值、跨度、分区、奇偶比例等作为组合描述，适合筛选与归类，不应被误读为确定性规律。
序列型
滚动窗口序列
按时间顺序构建近期窗口，用于比较短期与长期统计差异，同时要防止窗口选择迎合既有结果。
Common algorithms
常见算法不是越复杂越好
方法选择应服从数据规模、研究问题和验证目标。简单模型通常更容易解释，也更容易发现数据泄漏与不稳定因素。
频率统计
基于不同窗口计算历史分布，适合建立透明基线和发现数据问题。
注意：历史频率差异不自动构成未来优势。
概率分布模型
用明确的概率假设描述随机变量，可用于比较观察结果与理论分布的偏离程度。
注意：模型有效性依赖其前提假设。
蒙特卡洛模拟
反复抽样以观察假设条件下的结果分布，适合评估不确定性与方案覆盖范围。
注意：模拟不会创造原始假设之外的信息。
树模型
通过条件分裂处理非线性关系，能够输出特征重要性，但容易学习偶然噪声。
分类与回归
把问题定义为标签判断、概率估计或连续评分，关键在于目标变量是否合理。
序列模型
尝试学习时间顺序中的依赖关系，对样本量、参数控制和时间切分要求更高。
加权融合
按照验证表现或业务规则组合多个模型，减少依赖单一方法造成的波动。
多因子评分
将多个特征标准化后形成综合分值，优点是透明，缺点是权重可能带有主观性。
规则约束
在模型评分之外加入结构或覆盖限制，主要用于整理输出，而不是提升确定性。
Evaluation metrics
评估模型，要看它如何面对未知数据
训练集上的漂亮结果只能说明模型记住了已知样本。真正有意义的比较，应采用按时间划分的测试集、滚动回测和稳定性检查。
按时间切分
先训练、后测试，避免随机打乱造成未来信息泄漏。
滚动验证
在多个连续窗口重复训练和评估，观察表现是否稳定。
| 评估维度 | 回答的问题 | 使用提示 |
|---|---|---|
| 概率校准 | 模型给出的概率与实际频率是否一致？ | 适合概率输出，不只看排序高低。 |
| 对数损失 | 错误且过度自信的预测是否受到更大惩罚？ | 数值越低通常越好，需要与基线比较。 |
| 排序能力 | 模型能否相对区分较高与较低评分对象？ | 排序正确不代表概率估计准确。 |
| 覆盖与分散度 | 输出是否过度集中在少量模式上？ | 用于观察模型偏好，不等同于命中保证。 |
| 跨窗口稳定性 | 更换测试周期后，结论是否大幅变化？ | 同时报告均值、波动和最差窗口。 |
比较原则：复杂模型至少应与均匀概率、简单频率或固定规则等透明基线进行同口径比较。
Overfit risks
识别过拟合与“看起来很准”
当模型过度适应历史噪声，它可能在回顾中表现出色，却无法在新数据上重复。以下信号值得优先检查。
训练与测试差距过大
训练表现明显优于测试表现，说明模型可能记住了样本细节。
反复调参追逐单一结果
在同一测试集上持续调整，会让测试集间接参与训练。
只展示最佳窗口
忽略表现较差的周期，会高估模型稳定性并产生选择偏差。
特征包含未来信息
任何预测时点不可得的信息，都会造成不真实的数据泄漏。
不可靠的验证方式
- 先查看完整结果，再设计最匹配的规则
- 只报告成功案例，不披露完整测试区间
- 用单一指标代替概率、稳定性和基线比较
更稳健的改进方式
- 预先确定特征、指标与测试区间
- 保留最终未触碰的样本外数据
- 公开失败窗口、波动范围与方法限制
Application map
把算法知识放回实际应用路径
理解模型框架后，可以继续查看数据准备、智能助手或平台方案。不同页面对应从基础分析到工具化应用的不同环节。
选择下一步
如果你刚开始，先了解数据如何整理；如果已熟悉统计指标，再进一步了解模型如何被助手或平台调用。