Odds/Odds Ratio

• Odds：几率/优势，事件发生与不发生的概率比值

  $$odds = \frac p {1-p}$$

  • $p$：事件发生概率

• Odds Ratio：优势比，两组事件 odds 的比值

  $$OR = \frac {odds_1} {odds_0}$$

WOE 值

WOE 值：将预测变量（二分类场景中）集中度作为分类变量编码的数值

$$\begin{align*} WOE_i & = log(\frac {\%B_i} {\%G_i}) \\ & = log(\frac {\#B_i / \#B_T} {\#G_i / \#G_T}) \\ & = log(\frac {\#B_i / \#G_i} {\#B_T / \#G_T}) \\ & = log(\frac {\#B_i} {\#G_i}) - log(\frac {\#B_T} {\#G_T}) \\ & = log(\frac {\#B_i / ({\#B_i + \#G_i})} {\#G_i / (\#B_i + \#G_i)}) - log(\frac {\#B_T} {\#G_T}) \\ & = log(odds_i) - log(odds_T) \end{align*}$$

• $\%B_i, \%G_i$：分类变量取第 $i$ 值时，预测变量为 B 类、G 类占所有 B 类、G 类比例
• $#B_i, #B_T$：分类变量取第 $i$ 值时预测变量为 B 类数量，所有 B 类总数量
• $#G_i, #G_T$：分类变量取第 $i$ 值时预测变量为 G 类数量，所有 G 类样本总数量
• $odds_i$：分类变量取第 $i$ 值时，预测变量取 B 类优势
• $odds_T$：所有样本中，预测变量取 B 类优势
• 其中 $log$ 一般取自然对数

• WOE 编码是有监督的编码方式，可以衡量分类变量各取值中

  • B 类占所有 B 类样本比例、G 类占所有 G 类样本比例的差异
  • B 类、G 类比例，与所有样本中 B 类、G 类比例的差异

• WOE 编码值能体现分类变量取值的预测能力，变量各取值 WOE 值方差越大，变量预测能力越强

  • WOE 越大，表明该取值对应的取 B 类可能性越大
  • WOE 越小，表明该取值对应的取 G 类可能性越大
  • WOE 接近 0，表明该取值预测能力弱，对应取 B 类、G 类可能性相近

OR与WOE线性性

$$\begin{align*} log(OR_{j,i}) &= log(odds_i) - log(odds_j) \\ &= WOE_i - WOE_j \end{align*}$$

• 即：预测变量对数优势值与 WOE 值呈线性函数关系

  • 预测变量在取 $i,j$ 值情况下，预测变量优势之差为取 $i,j$ 值的 WOE 值之差
  • WOE 值编码时，分类变量在不同取值间跳转时类似于线性回归中数值型变量

  

• 考虑到对数优势的数学形式，单变量 LR 模型中分类型变量 WOE 值可以类似数值型变量直接入模

  • 当然，WOE 值编码在多元 LR 中无法保证单变量分类情况下的线性
  • 或者说多变量 LR 中个变量系数值不一定为 1
  • 在基于单变量预测能力优秀在多变量场合也优秀的假设下，WOE 值编码（IV 值）等单变量分析依然有价值

Bayes Factor、WOE 编码、多元 LR

$$\begin{align*} ln(\frac {P(Y=1|x_1,x_2,\cdots,x_D)} {P(Y=0|x_1,x_2,\cdots,x_D)}) &= ln(\frac {P(Y=1)} {P(Y=0)}) \\ & \overset {conditionally independent} {=} ln (\frac {P(Y=1)} {P(Y=0)}) + \sum_{i=1}^D ln(\frac {P(x_i|Y=1)} {P(x_i|Y=0)}) \\ ln(\frac {P(Y=1|x_1,x_2,\cdots,x_D)} {P(Y=0|x_1,x_2,\cdots,x_D)}) & \overset {semi} {=} ln (\frac {P(Y=1)} {P(Y=0)}) + \sum_{i=1}^D \beta_i ln(\frac {P(x_i|Y=1)} {P(x_i|Y=0)}) \end{align*}$$

• $\frac {P(x_i|Y=1)} {P(x_i|Y=0)}$：贝叶斯因子，常用于贝叶斯假设检验

• Naive Bayes 中满足各特征 $X$ 关于 $Y$ 条件独立的强假设下，第二个等式成立

• Semi-Naive Bayes 中放宽各特征关于 $Y$ 条件独立假设，使用权重体现变量相关性，此时则可以得到多元 LR 的预测变量取值对数 OR 形式

  • 则多元 LR 场景中，WOE 值可以从非完全条件独立的贝叶斯因子角度理解

IV 值

$$\begin{align*} IV_i &= (\frac {\#B_i} {\#B_T} - \frac {\#G_i} {\#G_T}) * WOE_i \\ &= (\frac {\#B_i} {\#B_T} - \frac {\#G_i} {\#G_T}) * log(\frac {\#B_i / \#B_T} {\#G_i / \#G_T}) \\ IV &= \sum IV_i \end{align*}$$

• $IV_i$：特征 $i$ 取值 IV 值
• $IV$：特征总体 IV 值

• 特征总体的 IV 值实际上是其各个取值 IV 值的加权和
  • 类似交叉熵为各取值概率的加权和

数值化：分类->数值

Ordinal Encoding

序号编码：使用一位序号编码类别

• 一般用于处理类别间具有大小关系的数据
  • 编码后依然保留了大小关系

One-hot Encoding

独热编码：采用N位状态位对N个可能取值进行编码

• 一般用于处理类别间不具有大小关系的特征

• 独热编码后特征表达能力变差，特征的预测能力被人为拆分为多份

  • 通常只有部分维度是对分类、预测有帮助，需要借助特征选择降低维度

• 在经典统计中，为避免完全多重共线性，状态位/哑变量会比取值数量少 1

优点

• 能处理非数值属性
• 一定程度上扩充了特征
• 编码后向量时稀疏向量：可以使用向量的稀疏存储节省空间
• 能够处理缺失值：高维映射方法中增加维度表示缺失

缺点

• k-NN 算法：高维空间两点间距离难以有效衡量

• 逻辑回归模型：参数数量随维度增加而增大，增加模型复杂度，容易出现过拟合

• 决策树模型

  • 产生样本切分不平衡问题，切分增益非常小
    • 每个特征只有少量样本是 1，大量样本是 0
    • 较小的拆分样本集占总体比例太小，增益乘以所占比例之后几乎可以忽略
    • 较大拆分样本集的几乎就是原始样本集，增益几乎为 0
  • 影响决策树的学习
    • 决策树依赖数据统计信息，独热编码将数据切分到零散小空间上，统计信息不准确、学习效果差
    • 独热编码后特征表达能力边人为拆分，与其他特征竞争最优划分点失败，最终特征重要性会比实际值低

Binary Encoding

二进制编码：先用序号编码给每个类别赋予类别 ID，然后将类别 ID 对应二进制编码作为结果

• 本质上利用二进制类别 ID 进行哈希映射，得到 0/1 特征向量
• 特征维度小于独热编码，更节省存储空间

Weight of Evidence Encoding

WOE 编码：以分类变量各取值的 WOE 值作为编码值

$$\begin{align*} WOE_i & = log(\frac {\%B_i} {\%G_i}) \\ & = log(\frac {\#B_i / \#B_T} {\#G_i / \#G_T}) \end{align*}$$

• $\%B_i, \%G_i$：分类变量取第 $i$ 值时，预测变量为 B 类、G 类占所有 B 类、G 类比例
• $#B_i, #B_T$：分类变量取第 $i$ 值时，预测变量为 B 类占所有 B 类样本比例
• $#G_i, #G_T$：分类变量取第 $i$ 值时，预测变量为 G 类占所有 G 类样本比例

• WOE 编码是有监督的编码方式，可以衡量分类变量各取值中

  • B 类占所有 B 类样本比例、G 类占所有 G 类样本比例的差异
  • B 类、G 类比例，与所有样本中 B 类、G 类比例的差异

• WOE 编码值能体现分类变量取值的预测能力，变量各取值 WOE 值方差越大，变量预测能力越强

  • WOE 越大，表明该取值对应的取 B 类可能性越大
  • WOE 越小，表明该取值对应的取 G 类可能性越大
  • WOE 接近 0，表明该取值预测能力弱，对应取 B 类、G 类可能性相近

优势

• 相较于 one-hot 编码

  • 特征数量不会增加，同时避免特征过于稀疏、维度灾难
  • 避免特征筛选过程中，一部分特征取值被筛选，一部分被遗弃，造成特征不完整
  • 将特征规范到同一尺度的数值变量，同时也便于分析特征间相关性

• 在 LR 模型中，WOE 编码线性化赋予模型良好的解释性

  • WOE 编码本身即可反应特征各取值贡献
  • 可以用于给评分卡模型中各分箱评分

分类化/离散化：数值->分类

• 分类型变量本质上无法建模，因为取值从含义上无法进行数值计算
• 将数值型映射为分类型，往往只是中间步骤，最终会将分类型取值映射回数值型

• 若分箱数量为 2，也被成为是二元化/布尔化

离散化综述

• 模型使用离散特征、连续特征，是“海量离散特征+简单模型”、“少量连续特征+复杂模型”的权衡

  • 海量离散特征+简单模型：难点在于特征工程，成功经验可以推广，可以多人并行研究
  • 少量连续特征+复杂模型：难点在于模型调优，不需要复杂的特征工程

• 一般的，连续特征对预测结果影响不会突变，合理的离散化不应造成大量信息丢失

  • 且若特征存在突变，模型将难以拟合（线性模型尤其）
  • 反而更应该离散化为多个分类特征，方便引入非线性

• 事实上，根据Cover定理，离散化增加特征维度类似于投影至高维，更可能得到较优模型（也更容易过拟合）

  • 极限角度，对所有特征、取值均离散化，则可以得到完全可分模型（除特征完全一样分类不同）

描述角度

• supervised vs. unsupervised：是否使用分类信息指导离散化过程

  • 无监督
    • 如：等距、等频划分
    • 无法较好的处理异常值、不均匀分布
  • 有监督
    • 利用分类信息寻找合适切分点、间隔
    • 根据使用分类信息的方式有许多种

• dynamic vs. static：离散化、分类是否同时进行

• global vs. local：在特征空间的局部还是全局进行离散化

• spliting vs. merging/top-down vs. bottom-up：自顶向下划分还是自底向上合并

• direct vs. incremental：直接根据超参数确定分箱数量还是逐步改善直到中止准则

典型过程

• sort：排序
• evaluate：评估分割点
• split or merge：划分、合并
• stop：停止离散化

评价

• Simplicity：可用切分点数量衡量简单性
• Consistency：可以通过最小不一致数量衡量一致性
  • 不一致：样本具有相同的特征取值，但分类不同
  • 分箱最小不一致数量则为，箱内样本数量减最大类别数量
• Accuracy：可通过分类器进行交叉验证的准确率衡量

优势

• 方便工业应用、实现

  • 离散特征的增加、减少容易，方便模型迭代
  • 特征离散化处理缺失值、异常值更方便，可直接将其映射为某取值
  • 数值化后可指定取值类型，如：one-hot编码为为稀疏向量
    • 內积速度快
    • 存储方便
    • 容易扩展

• 方便引入历史经验

  • 可以自由调整离散化结果，结合机器学习和历史经验得到最终的离散化结果

• 模型更稳健

  • 模型不再拟合特征具体值，而是拟合某个概念，能够对抗数据扰动，更稳健
  • 对异常数据鲁棒性更好，降低模型过拟合风险
  • 某些场合需要拟合参数值更少，降低模型复杂度

• （引入）非线性提升模型表达能力

  • 利用经验、其他信息将数值特征分段，相当于引入非线性，提升线性模型表达能力
  • 方便引入交叉特征，提升模型表达能力

适合场景

• 离散化特征更适合 LR 等线性模型

  • 如下离散化优势：方便引入非线性等
  • 模型中所有特征都会被考虑，考虑细节、个体（包括 $L_1$ 范数也是被考虑后剔除）

• GBDT 等树、抽样模型则不适合

  • 特征离散化后，由于抽样误差的存在，可能存在某些离散特征对样本预测能力非常强，非线性模型容易给这些特征更大权重，造成过拟合
    • 如：刚好抽取的 1000 个样本中某离散特征取值为 1 者全为正样本
  • 树模型每次使用一个特征划分节点，特征数量较多不利于模型训练
    • 若单个离散化特征预测能力不强，由于树深度限制，只有少量特征被作为划分依据，模型可能不收敛、表达能力更差
    • 若单个离散化特征预测能力强，连续特征也应该也有较好效果

无监督

• 无监督分箱仅仅考虑特征自身数据结构，没有考虑特征与目标之间的关系

等频/等距/经验分箱

• 分箱逻辑

  • 等频分箱：排序后按数量等分
    • 避免离散化后特征仍然为长尾分布、大量特征集中在少量组内
    • 对数据区分能力弱
  • 等距分箱：取值范围等分
  • 经验分箱

• 分箱数量、边界超参需要人工指定

  • 根据业务领域经验指定
  • 根据模型指定：根据具体任务训练分箱之后的数据集，通过超参数搜索确定最优分桶数量、边界

• 分箱经验、准则

  • 若组距过大，组内属性取值差距过大
    • 逻辑上分类不能够代表组内全部样本，组内取值影响可能完全不同
  • 若组距过小，组内样本过少
    • 随机性太强，不具备统计意义上说服力
    • 特征影响跳变过多

聚类分箱

• K-Means 聚类
• 层次聚类

• 聚类过程中需要保证分箱有序

有监督

Binning：1R 分箱

• 分箱逻辑、步骤
  • 将样本排序，从当前位置开始
    • 初始化：以允许的最少样本作为一箱，将箱内最多类别作为箱标签
    • 扩展：若下个样本类别与箱标签相同，则划至箱内
  • 重复以上，得到多个分箱
  • 将相邻具有相同标签的箱合并，得到最终分箱结果

Splitting

• 基于信息熵的 split，具体划分依据如下
  • ID3：信息增益
  • C4.5：信息增益比
  • D2：
  • Minimum Description Length Principle：描述长度

Merge分箱

• 基于依赖相关的 merge，具体划分依据如下
  • Chimerge：使用卡方值衡量两个相邻区间是否具有类似分布，若具有类似分布则将其合并

具体算法

• 输入：目标分箱数量 $N$
• 初始化
  • 将变量升序排列
  • 为减少计算量，若初始分箱数量大于阈值 $N_{max}$，则利用等频分箱进行粗分箱
  • 缺失值单独作为一个分箱
• 合并区间
  • 计算每对相邻区间的卡方值
  • 将卡方值最小区间合并
  • 重复以上直至分箱数量不大于 $N$
• 分箱后处理
  • 合并纯度为 1（只含有某类样本）的分箱
  • 删除某类样本占比超过 95% 的分箱
  • 若缺失值分箱各类样本占比同非缺失值分箱，则合并