Factorization Machines

• 原始论文: Factorization Machines
• 代码实例：fm.py

理论解读

• 计算公式: $y=\sigma (\sum _{i=0}^n{w}_i{x}_i+\sum _{i=1}^{n-1}\sum _{i+1}^n⟨v_i,v_j⟩x_i{x}_j)$
• 解读: $v_i,v_j\mathrm{是}{x}_i,x_j\mathrm{对}\mathrm{应}\mathrm{的}\mathrm{特}\mathrm{征}\mathrm{向}\mathrm{量}$，<*,*>是向量内积

具体实现

整体部分

• FM 是由2部分来实现的，线性部分和交叉项部分。而且其所有的输入均为类别性特征，不存在连续值特征。所以整体实现如下：

线性部分

• 线性部分：该部分的实现主要依赖Embedding 映射，其中offsets部分可以忽略，该部分只对二维的数据起作用，而且用以映射embedding。

交叉项部分

• 交叉项部分：该部分是对交叉项的实现，而且使用了效率最高的实现方式。原公式中交叉项的时间复杂度是$O(k{n}^2)$，经过简化 时间复杂度可以变成$O(kn)$。这部分网上有大把资料不做赘述。