求剧情
推荐系统实践 · 第九节

《推荐系统实践》第九节

本节介绍协同过滤算法的离线实验设计与评测指标,并详述基于用户的协同过滤算法(UserCF)。

本节介绍协同过滤算法的离线实验设计与评测指标,并详述基于用户的协同过滤算法(UserCF)。

实验设计上,将用户行为数据随机分成M份(取M=8),轮流以一份为测试集、其余为训练集,重复M次取评测指标平均值,以防止单次实验过拟合;数据量大时也可只做一次。评测指标包括:准确率与召回率(衡量推荐列表与测试集的重合程度)、覆盖率(推荐列表覆盖的物品比例,反映发掘长尾的能力)、新颖度(用推荐物品的平均流行度衡量,计算时对流行度取对数以应对长尾分布)。

UserCF是最古老的推荐算法,1992年提出。其基本思想是:为用户A找到兴趣相似的用户集合,把这些人喜欢而A没接触过的物品推荐给A。兴趣相似度可用Jaccard或余弦相似度基于用户行为计算;为提高效率,可先建物品到用户的倒排表,只对共同行为过的用户对计算相似度。推荐时,用与用户最相似的K个用户的兴趣加权得到用户对物品的兴趣度,取分值最高的N个推荐。在MovieLens数据集上,UserCF的准确率和召回率约为MostPopular算法的两倍,覆盖率远高于它。参数K对指标影响明显:K增大时推荐结果更热门、覆盖率下降,精度在K约为80时较优但不敏感。

针对基础相似度公式过于粗糙的问题,改进方案是惩罚热门物品对相似度的贡献——两人都买过《新华字典》说明不了兴趣相似,都买过冷门的《数据挖掘导论》才更能说明相似。该改进算法记为User-IIF。

‹ 上一章目录下一章 ›

全部 32 章