Posted 2019-08-02Updated 2021-08-04ML Theory / Loss9 minutes read (About 1280 words)

模型评估

评估方向

给定损失函数时，基于损失函数的误差显然评估学习方法的标准

模型训练时采用损失函数不一定是评估时使用的

训练误差：模型在训练集上的误差，损失函数 $L(Y, F(X))$ 均值

$e_{train} = R_{emp}(\hat f) = \frac 1 N \sum_{i=1}^N L(y_i, \hat {f(x_i)})$

$\hat f$：学习到的模型

$N$：训练样本容量

训练时采用的损失函数和评估时一致时，训练误差等于经验风险
训练误差对盘对给定问题是否容易学习是有意义的，但是本质上不重要
- 模型训练本身就以最小化训练误差为标准，如：最小化 MSE、最大化预测准确率，一般偏低，不能作为模型预测误差的估计
- 训练误差随模型复杂度增加单调下降（不考虑模型中随机因素）

测试误差：模型在测试集上的误差，损失函数 $L(Y, f(X))$ 均值

$e_{test} = \frac 1 {N^{'}} \sum_{i=1}^{N^{'}} L(y_i,\hat {f(x_i)})$

$\hat f$：学习到的模型

$N$：测试样本容量

approximation error：近似误差，模型偏差，代表模型对训练集的拟合程度

estimation error：估计误差，模型方差，代表模型对训练集波动的稳健性

模型复杂度越高
- 低偏差：对训练集的拟合充分
- 高方差：模型紧跟特定数据点，受其影响较大，预测结果不稳定
- 远离真实关系，模型在来自同系统中其他尚未观测的数据集上预测误差大
而训练集、测试集往往不完全相同
- 复杂度较高的模型（过拟合）在测试集上往往由于其高方差效果不好，而建立模型最终目的是用于预测未知数据
- 所以要兼顾偏差和方差，通过不同建模策略，找到恰当模型，其复杂度不太大且误差在可接受的水平
- 使得模型更贴近真实关系，泛化能力较好

简单模型：低方差高偏差

复杂模型：低偏差高方差

模型复杂度衡量参data_science/loss

过拟合：学习时选择的所包含的模型复杂度大（参数过多），导致模型对已知数据预测很好，对未知数据预测效果很差

训练数据包含信息
模型形成过程中提供的先验信息
- 模型：采用特定内在结构（如深度学习不同网络结构）、条件假设、其他约束条件（正则项）
- 数据：调整、变换、扩展训练数据，让其展现更多、更有用的信息

Classification 分类问题：输出变量$Y$为有限个离散变量
- 混淆矩阵
  - F-Measure
  - TPR、FPR
- ROC
- AUC
Tagging 标注问题：输入 $X^{(1)}, X^{(2)}, \cdots, X^{(n)}$、输出 $Y^{(1)}, Y^{(2)}, \cdots, Y^{(n)}$ 均为变量序列
- 类似分类问题
Regression 回归问题
- Squared Error
  - MSE
  - $R^2$、$R^2_{Adj}$
  - AIC
  - BIC
- Absolute Error
  - MAE
  - MAPE
  - SMAPE

经验损失、结构损失总是能用作评价模型，但是意义不明确