C++，尤其是 C++11 以来，引入了一些新的特性，除此以外，本文还记录了设计模式、推荐实践方案、常见技巧等，包括一些 Code Snippet。

本文是 DeepCoNN 模型的改进。深度学习及相关模型在推荐系统任务中，比传统方法都要更优秀。目前推荐系统中，会融合很多的外部信息，如用户评论等，而 NLP 相关技术的发展更是受到了神经网络的大增益，DeepCoNN 模型借助神经网络从评论文本中获得用户、物品的表示。但是 DeepCoNN 模型在预测用户给目标商品的打分时，更多的是利用了用户的评论信息，本质上是一个根据评论文本预测打分的“情感分类”的问题，而不是推荐问题。本文提出的 TransNets 模型，扩展了 DeepCoNN，引入了一个额外的隐藏层来表示用户、物品，使之与训练集的评论文本类似，从而获得更为出色的推荐性能。

Github 前阵子出了个 Repository Recommendation 的功能，偶然看到这篇文章及其扩展的一个开源实现，本周阅读这篇基础文章，下一阶段再精读改进模型的文章。

用户的评论中通常蕴含大量有用的信息，而这些信息在推荐系统中的使用程度很低，但却是一定程度上能够缓解冷启动问题，提升推荐性能的一部分。本文提出了一个深度模型，从评论中联合学习物品的属性和用户的行为。本文提出的 DeepCoNN 模型，有两个平行的神经网络，其中一个对于用户所写的评论分别学习用户的行为数据，另一个则是对物品的所有评论中习得物品的属性信息，最后通过一个“共享层”把这两部分网络特征融合在一起。从而，用户和物品的各自的表示能够以一种类似于分解模型的方式交互。在多个实验数据中，DeepCoNN 均打败了其他方法和模型。

为了做好新闻推荐这件事情，就需要了解新闻的内容和用户喜好之间的关系。协同过滤等基于 ID 的算法局限性在于新闻这一类的对象，保质期很短，难以实时地更新。若利用新闻文本的内容，则是一种类似信息检索的方法，就需要为特定用户从阅读记录中生成个性化的 query。从这两种方法出发，本文提出了一种 3 层结构的基于 embedding 表示方法的新闻推荐方法：为新闻生成表示、为用户生成表示以及生成推荐新闻列表。这一框架在 Yahoo 日本新闻平台上进行了离线和在线测试，在推荐性能和推荐的效率上都取得了令人满意的结果。

在 NCF 模型中，引入 CNN 学习特征之间的交互和关联，学习一个更为强大的预测模型。本文指出了目前较为流行的各种 NCF 及其变体模型大多采用特征向量内积、拼接操作的局限性。为此，提出了一种基于外积的新的特征交互模型，通过特征交互操作得到一个特征矩阵，在此基础上应用 CNN 学习到特征中每一维的高阶相互关系。从实验中验证了这一观点，代码开源在 https://github.com/duxy-me/ConvNCF

基于物品的协同过滤方法，结合 Attention。基于用户可能会喜欢相似、相关历史物品的假设，从而具有更好的解释性，在实时推荐的情境下，也可以进行高效地推荐。这种模型的关键在于如何衡量物品的相似度，较为传统的有余弦距离、皮尔逊相关系数，但是这种通用的方法并不一定适合推荐系统的场景。为此，一些工作会设计一个和推荐系统相关的损失函数，从用户、物品的角度来学习物品的隐藏表示。这些方法通常是线性的，所以本文提出一种基于注意力网络的非线性方法，能够获取到每个历史物品对用户当前喜好预测的重要性。NAIS 模型较 FISM（曾经的 state-of-the-art）有了性能上的提升，只是增加了一部分 attention 网络的参数规模。此外，NAIS 开创了神经网络对基于物品的协同过滤算法的时代，具有启发意义。

结合知识图谱中的表示学习，加上神经网络，进行新闻推荐。Accepted by WWW’18，论文链接：https://arxiv.org/abs/1801.08284

“Attention Is All You Need” 一文自从发表以来，犹如一声春雷，对以 RNN 为代表的深度网络模型产生了很大的影响，尤其是机器翻译等 NLP 工作提供了新的思路。这里就简单记录一下阅读体验。文章链接：https://arxiv.org/abs/1706.03762

一种基于深度神经网络和多臂老虎机的优化GMV的动态排序机制。步入 Web 2.0 时代以后，人们的购物方式从传统线下实物购买向线上、移动平台购买转变。推荐系统在这样的购物场景中，起到了十分重要的作用，很大程度上可以促进消费，从而增长网站的 GMV （在线成交额）。本文提出了一种动态排序模型，DNN-MAB，使得推荐系统的结果可以更为精准，对用户更为贴切。DNN-MAB 是一个排序模型，由 DNN 作为一个（前）排序部件，再由 MAB 完成动态修正（后）排序的工作，可以将显示反馈和隐式反馈都考虑进来。这一模型也在实际场景（京东）得到了应用。

也不算黑科技，在 Windows 10 上安装 Hadoop 环境，可以运行、测试一些简单的小程序。

由相关微信公众号推荐，也有一个知乎专栏，arxiv 链接。

本文在传统利用 RNN 解决 session-based recommendation 问题上，引入了一些用户和物品的静态信息，此为看点一。运用对抗网络训练模型，融合强化学习的思想，此为看点二。看点三略显平常，融合一些辅助信息缓解冷启动问题。

电影推荐系统，根据用户的口味生成一个候选推荐列表。目前主要有两种建模的立足点：长期静态模型和短期动态模型。前者从用户与电影的交互信息抽取出近似认为不会变化的用户和电影的特征，后者则是将用户兴趣和电影的信息在短期内进行一系列的调整与改变。本文提出了 LSIC 模型，使用对抗训练的方式，从数据中提取长、短期的特征：由生成器，结合强化学习的相关做法，根据用户的消费序列生成下一个可能的候选电影；而判别器负责区分生成器给出的结果和真实结果。此外，关于电影的一些外部信息也被引入，可以缓解冷启动问题。

在推荐系统或是社交网络中的用户建模中，可以通过他一系列的行为事件来建模。这些行为可以通过特征表示学习得到，把这些不同事件聚合起来，就能得到一个用户的表示。在人类有限的本能中，尚不明确这些融合方式的机理，因此很难全面地抓住用户的个性化特征，即这些特征向量之间的运算没有直观的解释。近期的研究中，开始用 RNN 模型来解决序列化推荐和预测，可仍然局限于这些有限的数据中，每一个事件都被通俗地编码成一个特征，我们认为只是简单的信息加和，没有利用信息之间的更新、推理等更为丰富的特征处理。例如，在当前事件的预测上，可能会失去和本次行为十分相关的历史行为的关系，而引入与当前事件没什么关系的其他噪音事件信息。

本文提出一种基于 Attention 机制的 ATRank 模型。用户的异构行为信息被映射到多个隐式语义空间中，由 self-attention，选出对当前事件的决策最具有影响的一些行为信息，从而在 Attention 时得以区别对待。ATRank 在实验中显示，训练更快，效果更好。此外，ATRank 还能对行为的类别进行预测，也比一些相关的优化模型表现好。

在 Session-based 推荐任务中，RNN 是目前最为有效的模型了，在于它对于协同过滤理论在序列化预测上的扩展。随着这种新手段的出现，我们可以对用户进行长期和短期的推荐，这在过去常被混在一起。本文首先将协同过滤方法在长短期推荐的任务上改造，同时引入 RNN 来更好地解决这一问题，证明了 RNN 模型在序列化推荐任务上的优越性。

推荐系统通常认为用户信息、商品的属性是静态的，而现实中存在时间动态性。当用户的喜好发生改变或者受到外部环境因素的影响，此时的特征都存在一定的偏差。本文提出的 循环推荐网络 （Recurrent Recommender Networks，RRN）能够预测用户 将来 的行为轨迹，即通过 LSTM 刻画除了传统低阶矩阵分解的特征，更突出了动态的变化特征。这一模型是十分紧凑（参数规模更小）的，因为通过网络学习的目的不是隐藏状态，而只是状态转移函数。（注：目前还不能理解，请看后文。）

在 ICLR-2018 公开的投稿论文中，发现了一篇用 RNN 做 Session-based Recommendation 的文章，在目前盲审阶段得到了 6、4、8 的分数，据我推测很可能是 ICLR-2016 中提出 Session-based Recommendation 的同一作者团队在之前模型上提出的改进。在这里，我更关注了该文的参考文献，了解 RNN 在推荐系统领域的应用历程。先是一篇短文，A Dynamic Recurrent Model for Next Basket Recommendation，发表于 SIGIR-16。之后是发表在 RecSys-2017 的文章，Sequential User-based Recurrent Neural Network Recommendations，利用 RNN 对用户建模进行推荐。

从用户和商品之间的交互信息中，我们可以提取出用户的喜好特征，传统模型得到的是一个全局性（general interests）的信息。如果按时间顺序考虑用户的交互过程，利用 Markov Chain 的假设，得到用户的一个局部特征。将全局和具有时间动态性的局部特征结合起来，就可以进行更精准的推荐。

从日常生活的需求上来说，学术论文、电影简介、新闻博客等的推荐，都与文本有关。从文本中提取特征，融合到推荐系统中最常用的分解模型中是一种很自然的想法，这也使得那些冷启动的物品具有较好的特征表示。之前的工作主要有使用 主题模型 或者是相关文本的 平均词向量 来表示物品特征向量，本文提出的方法则是通过深度 RNN （GRU）网络把物品相关的文本映射为特征向量。在学术论文推荐的实验中具有更高的准确率；在冷启动场景下，能够缓解协同过滤模型的数据稀疏问题，也超过了 state-of-the-art。作者认为这得益于多任务学习，因为处理文本的网络的学习过程是 物品推荐 和子问题 分类问题 的结合。

本文将 RNN 应用在推荐系统任务中，解决实际应用的传统推荐算法过度依赖用户做出的最后一个行为（点击、打分）数据，而在之前与之相关的行为数据则明显利用不足，经典的矩阵分解算法就捉襟见肘了。目前，通常采用折中的方法，即基于最近邻，推荐最相似的物品。本文认为，对于用户所有行为（称为一个 session ）进行建模，可以提高推荐的准确率。根据实际情况，对传统 RNN 进行改进，使之适合任务，从实验中验证了任务导向的模型设计的作用。

本文提出并解决了一个全新的任务：观点推荐，即在当前有用户、物品的历史交互记录中，用户对购买或使用过的服务的 打分信息 和与之对应的 评论 ，现在需要对用户没有买过的商品 生成可能的评论 和 预测一个打分。这个问题的本质是一个基于多元数据的多任务联合学习（multi-task joint learning），而这正是神经网络模型的强项。本文中，作者使用了一个单层神经网络对用户和商品建模，挖掘他们之间的关联；同时使用了一个深度记忆网络模型来生成具有用户个性特征的商品模型，从而将个性化的打分信息和评论融合在一起，构成一个联合模型。

推荐系统的冷启动问题是如何向系统中没有任何历史记录的新用户推荐，而我们常用的协同过滤算法是完全依赖用户与物品之间的历史交互信息的，这成为了一个挑战。近期相关的工作表明，有效利用社交信息（如用户的好友关系、公共主页喜好）能够很好地缓解这一问题。本文将三种已有的冷启动模型总结推广为一种线性的基于内容的模型，在此基础上，提出了 LoCo 模型，实验表明此模型要优于 state-of-the-art 冷启动推荐模型。

协同过滤算法在实际的推荐系统中有着广泛的应用，却也面临着许多问题。给定的用户-物品的打分矩阵通常是十分稀疏的，效果并不理想。因而，现在开始加入更为丰富的辅助信息来缓解数据稀疏和冷启动问题。目前通过学习用户和商品的隐含表示的模型对打分信息和外部信息的利用还不够充分，本文通过深度学习方法，从打分矩阵和辅助信息中，学习了用户和商品的隐含表示，基于此提出一种混合协同过滤模型。通过在 MovieLens 和 BookCrossing 数据集上的实验验证其有效性。