丹阳网站建设咨询,东莞企业网站制,wordpress 标签 文章,郑州妇科医院免费咨询特征交叉是特征工程中的重要环节#xff0c;在以表格型#xff08;或结构化#xff09;数据为输入的建模中起到了很关键的作用。
特征交互的作用#xff0c;一是尽可能挖掘对目标有效的模式、特征#xff0c;二是具有较好的可解释性#xff0c;三是能够将对数据的洞见引…特征交叉是特征工程中的重要环节在以表格型或结构化数据为输入的建模中起到了很关键的作用。
特征交互的作用一是尽可能挖掘对目标有效的模式、特征二是具有较好的可解释性三是能够将对数据的洞见引入建模中。搜广推算是一个典型的以表格型数据为输入的场景了长久以来都对特征的构建很重视。学界和业界针对特征交叉也是做了很多工作各种特征交叉方案层出不穷如GBDTLR、FM、WideDeep、DeepFM、DCN、xDeepFM等可见特征交叉之重。当然现在深度学习的推广场景数据来源也更多样化和复杂化特征工程的作用势微、成本增大。这里主要对Addictive和Multiplicative两种类型的交叉做一个回顾和介绍。当然并不局限于推荐系统中。
对于两个特征 x 1 , x 2 x_1, x_2 x1,x2它们的加性操作为 a x 1 b x 2 c a x_1 b x_2 c ax1bx2c可以看出这很类似于逻辑回归中的操作乘性操作为 a x 1 x 2 c a x_1 x_2 c ax1x2c。从这两种操作的次数来看加性操作是一阶的乘性操作是二阶的。因此FM在LR地基础上引入了不同特征相乘后的交叉特征即包含了更高阶的特征。
更广泛地来看脱离了推荐场景后如果我们有两个输入 x , z x, z x,z输入可以是标量或者向量两个输入的特征交叉此时或许可以给一个更泛化的名字融合可以描述为 y ϕ ( x , z ) y \phi(x, z) yϕ(x,z)
在论文On Multiplicative Integration with Recurrent Neural Networks中加性操作为 y W x U z b y W x U z b yWxUzb乘性操作为 y W x ⊙ U z b y W x \odot U z b yWx⊙Uzb其中 ⊙ \odot ⊙为Hardmard product。在乘性操作中 W x W x Wx和 U z U z Uz可以互相约束控制这一操作在LSTM和GRU中都很常见。除了融合方式上的不同加性和乘性还有什么不同呢这篇文章还从梯度的角度进行了分析简单来说就是在循环神经网络中乘性操作能缓解梯度消失和爆炸问题。
偶然发现一篇从统计视角介绍变量间交互作用的博文交互作用: 相加交互相乘交互。在这篇博文里从统计的角度讨论了两个变量间的交互即相互影响讨论了相加交互和相乘交互。插一嘴如果沿着这个讨论下去或许和因果推断更接近了。
