求剧情
R的极客理想——工具篇 · 第十八节

《R的极客理想——工具篇》第十八节

本节首先介绍基于物品的协同过滤推荐算法,说明其核心是先计算物品间相似度,再结合用户历史行为生成推荐列表。

本节首先介绍基于物品的协同过滤推荐算法,说明其核心是先计算物品间相似度,再结合用户历史行为生成推荐列表。在R语言本地实现中,算法分三步:按用户分组统计物品两两同现次数建立同现矩阵,建立用户对物品的评分矩阵,最后用两个矩阵相乘得到推荐结果。

随后讲解基于MapReduce的分布式实现,思路相同但流程改为五个MapReduce步骤:先分组得到物品组合并计数生成同现矩阵,再建立评分矩阵,用equijoin合并两个异构数据源,计算推荐结果,最后排序输出。文中给出rmr2包的使用提示,包括backend设置、equijoin的outer参数以及keyval的警告处理。

本节还介绍了R访问HBase的方法:先准备HBase环境并启动服务,安装rHBase包后,用其提供的16个函数完成建表、插入、读取、删表等操作,与HBase Shell一一对应。最后针对rmr2常见的PipeMapRed.waitOutputThreads错误,指出仅看R端日志无法定位问题,需要打开jobtracker控制台,进入对应作业详情页查看Hadoop端的实际错误日志。

‹ 上一章目录下一章 ›

全部 20 章