推荐系统实践 · 第十六节
《推荐系统实践》第十六节
本节讨论如何利用物品的内容信息解决物品冷启动问题。物品冷启动在新闻等时效性强的网站中尤为重要。
本节讨论如何利用物品的内容信息解决物品冷启动问题。物品冷启动在新闻等时效性强的网站中尤为重要。UserCF算法对物品冷启动并不敏感,新物品可经少数用户反馈后逐步扩散,只需解决"第一推动力"问题,可将新物品投放给喜欢过内容相似物品的用户。而ItemCF算法因新物品不在已计算的相似度表中,无法推荐新物品,且基于行为日志的更新耗时,只能利用内容信息计算并频繁更新物品相似度表。
物品内容可用向量空间模型表示为关键词向量,文本内容需经分词、实体识别、关键词加权等步骤生成,词权可用TF-IDF计算,物品间相似度用余弦相似度衡量,可通过倒排表加速计算。实验表明:在MovieLens数据集上,内容过滤算法ContentItemKNN的准确率和召回率明显低于ItemCF,但覆盖率和流行度更高;在GitHub数据集上则完全相反,因为GitHub的开源项目作者这一强内容特征是程序员关注行为的主导因素,而协同过滤受数据稀疏影响难以捕捉。这说明当用户行为强烈受某内容属性影响时,内容过滤可超过协同过滤,两种算法融合有望获得更好效果。
向量空间模型在文本较短、关键词较少时难以准确计算相似度,此时需要话题模型。代表性的话题模型LDA基于生成模型假设:作者先选定话题,再用相应词语写成文章,文章与词通过话题联系。LDA包含文档、话题、词语三种元素,采用词袋模型,计算分为初始化(随机为每个词分配话题)和迭代(使话题分布收敛)两步。Blei的实验表明LDA能较好地将词聚类到相关话题中。