存档
-
折腾Hadoop的一天
Hadoop自己的文档写的也确实不是特别清楚,抛去折腾(英文:z-turn)cygwin的时间,也花了我将近两个小时才把Hadoop Cluster配置起来。主要参考了两篇文档: Cluster Setup Running Hadoop On Ubuntu Linux (Multi-Node Cluster) 这里总结一下我的经验,把hosts各主机的主机名配好(生产中的应用应该用name server来作),然后在某台充当NameNode和JobTracker的机器上把Hadoop配置完成以后,将该配置好的Hadoop通过rsync的方式同步到其他机器上去,然后修改NameNode和JobTracker里的masters和slaves文件,即可。 之所以没在linux下做实验,是因为有些任务需要在windows下跑,所以才z-turn了一下cygwin。明天要z-turn一下在Hadoop上写自己的MapReduce程序了。
1,170 次查看 | 1 条评论

最新评论