推荐系统中特征工程的自动化——Deep Crossing模型

本文是（2016）Deep Crossing: Web-Scale Modeling without Manually Crafted Combinatorial Features笔记

主题：在搜索页面推荐广告
维度：用户、广告商、搜索平台
目标：展示用户最想看的广告
概念：
query：搜索语句
Campaign：广告主在一段明确的期间里(如一年)，推出一系列拥有共同主题或讯息的广告，以期建立广告讯息的累积效果，塑造品牌与企业一致的形象，并给予目标受众持续而深刻的刺激与冲击。

特征：
分类变量——one-hot vector
campaign id——分成一组特征对：
a）CampaignID：点击Top10000的id做one-hot，（0,0,0，，，0）代表所有剩下的id
b）CampainIDCount：campaign的统计量，比如特征值（be referred to as counting feature）。
交叉特征：deep crossing 不使用交叉特征。

模型结构：

feature#2：低于256维，跳过embedding层
其他feature：进入embedding层（单层ReLU）

embedding层的输入+低维变量，合并为k维特征进入stacking层。

residual层：
残差层由如下的残差单元组成，它们是由图像识别模型Residual Net中的残差单元改造而来：


残差单元的特殊之处在于，输入会在经过两个ReLU层后，加上它本身。也就是说，F函数拟合的是输出与输入的残差值。

模型对比：作者尝试过深层神经网络的模型，但是效果并没有好于2-3层的神经网络。deep cross是可以轻易优于2-3层神经网络的模型。