Interaction Layers

人工交互作用层

交互作用层:人工设置特征之间交互方式

Flatten Layer

展平层:直接拼接特征,交互作用交由之后网络训练

  • $V_x$:特征向量集合
  • 对同特征域特征处理方式
    • 平均
    • 最大

二阶交互作用

二阶交互作用层:特征向量之间两两逐元素交互

  • 交互方式
    • 逐元素
      • 乘积
      • 求最大值:无
    • 按向量
  • 聚合方式
    • 求和
      • 平权
      • Attention加权
    • 求最大值:无

Bi-Interaction Layer

Bi-Interaction Layer:特征向量两两之间逐元素乘积、求和

  • $\odot$:逐元素乘积
  • 没有引入额外参数,可在线性时间$\in O(kM_x)$内计算
  • 可在低层次捕获二阶交互影响,较拼接操作更informative
    • 方便学习更高阶特征交互
    • 模型实际中更容易训练

Attention-based Pooling

Attention-based Pooling:特征向量两两之间逐元素乘积、加权 求和

  • $\alpha_{i,j}$:交互作用注意力权重,通过注意力网络训练