背景 推荐系统CTR预估任务中的两个难点： (1)输入特征多是稀疏高维特征，(2)高阶特征交叉依赖人工设计 本文提出AutoInt方法，基于多头注意力结构自动学习高阶特征交叉信息 方法 本文中采用Key-value 注意力机制来决定特征怎样结合是有意义的 每个注意力机制头有三个矩阵，\(W_{Query},W_{Key},W_{Value}\) 以特征m为例，在第h和attenti...

挑战 在推荐系统场景下，用户的历史行为信息有着至关重要的作用，但是长序列建模对计算资源是一个挑战 SIM模型提出一种基于检索的用户行为兴趣CTR模型 SIM包含两级检索模块GSU（General Search Unit，通用搜索单元）和ESU（Extract Search Unit，精准搜索单元） GSU通过从原始用户行为中搜索Top-K相关的用户子序列行为，同时K比原始用户...

Motivation 但是大多该类模型将用户的行为直接看做兴趣，而用户的潜在兴趣往往很难通过行为来完全表示。因此需要挖掘行为背后的用户真实兴趣，并考虑用户兴趣的动态变化。 方法 模型结构 兴趣抽取层 网络结构 兴趣抽取层的作用是从用户行为序列中学习用户的隐式兴趣，本文将用户的历史行为作为时序输入，通过GRU网络来提取用户的兴趣 损失函数 但是用户对目标item的点击行...

Motivation 从list-wise角度捕捉item之间的相互影响 先前的工作比如GlobalRank和 DLCM使用RNN编码序列，但是RNN捕捉pairwise信息的能力有限，PRM and SetRank使用了transformer结构，但是没有充分利用个性化信息（user特征） 本文提出PEAR模型结构，从feature-level和item-level进行信息交...

Motivation 序列推荐场景中，模型生成的embedding会退化，导致不相似的item样本embedding很集中 现有对比学习，大多依赖于data-level的数据增强(cropping, masking, or reordering), 这种方法可能会破坏原数据中的语义关联 本文提出一种model-level的对比学习数据增强方式 矩阵A的秩等于...

Motivation 长尾的item没法得到充分训练 方法 自监督学习框架 如上图，首先通过两种数据增强的方式将输入item特征\(x_i\)分别转化为\(y_i\)和\(y_{i}'\) 通过模型将数据增强后的\(y_i\)和\(y_{i}'\)分别编码为\(z_i\)和\(z_{i}'\) \((z_i,z_{i}')\)作为正样本对，\((z_i,z_{j}...

DeepFM 模型结构 将FM与DNN部分结合起来，共享输入embedding，分别学习低阶特征交互和高阶特征交互 FM部分： [y_{FM}=<w,x>+\sum_{j_{1}=1}^{d}\sum_{j_{2}=j_{1}+1}^{d}<V_{i},V_{j}>x_{j_{1}}·x_{j_{2}}] 第一项为一阶特征，第二项为二阶...

ESMM 阿里妈妈团队SIGIR’2018，在广告推荐场景中，基于多任务学习的思路，提出一种新的CVR预估模型。 Motivation CVR预估有两个问题： 转化是在点击之后才有可能发生的动作，实际正负样本应该是点击且转化和点击未转化，但是模型实际训练过程中，使用的是整个空间的样本。 CVR训练样本中的点击样本数量远小于CTR的训练使用的曝光样本。 Model 点击（CTR）...

特征表示 base model 四个主要模块 Embedding Layer 输入特征为稀疏二值编码，embedding层将sparse特征编码为dense特征 Pooling layer and Concat layer 将用户历史行为序列特征通过sum pooling转化为固定长度的向量 ...

摘要 BERT是一个预训练模型，他利用无标签的文本数据做预训练，与其他语言模型不同的是，BERT在每一层都利用双向的文本信息。在预训练BERT模型的基础上，通过一个输出层的fine-tune可以在多个nlp应用领域获得sota效果。 具体介绍 作者认为，在之前的预训练模型中，比如GPT，单向信息的学习限制了模型的选择，每一个token只能利用之前的token信息。本文提出的预训练模型BERT...