求剧情
R的极客理想——工具篇 · 第十七节

《R的极客理想——工具篇》第十七节

Mahout虽然支持MapReduce并行计算,但存在算法空白、模型通用化导致效果有限,且二次开发对技术要求高。

Mahout虽然支持MapReduce并行计算,但存在算法空白、模型通用化导致效果有限,且二次开发对技术要求高。相比之下,R语言覆盖了绝大多数算法且开发灵活,两者擅长领域不同,应按需选择。

本节介绍了让Hadoop与R语言结合的五种思路:使用RevolutionAnalytics开源的RHadoop(含rmr、rhdfs、rHBase三个包)、通过RHive访问Hive、用R重写Mahout、打通通道让Hadoop调用R,以及实际案例。由于技术门槛高,此类案例较少,但未来结合将呈爆发式增长。

随后以RHadoop为例介绍了环境准备与安装:需使用Linux系统、Oracle官方JDK 1.6.x及R 2.15.3版本。安装需下载三个R包并配置环境变量。安装完成后,可通过rhdfs包操作HDFS(如查看目录、文件),并使用rmr2包实现MapReduce任务(如wordcount单词计数)。最后给出了一个统计邮箱域出现次数并排序的需求案例。

‹ 上一章目录下一章 ›

全部 20 章