折腾Hadoop的一天

276 次查看

Hadoop自己的文档写的也确实不是特别清楚,抛去折腾(英文:z-turn)cygwin的时间,也花了我将近两个小时才把Hadoop Cluster配置起来。主要参考了两篇文档:

Cluster Setup

Running Hadoop On Ubuntu Linux (Multi-Node Cluster)

这里总结一下我的经验,把hosts各主机的主机名配好(生产中的应用应该用name server来作),然后在某台充当NameNode和JobTracker的机器上把Hadoop配置完成以后,将该配置好的Hadoop通过rsync的方式同步到其他机器上去,然后修改NameNode和JobTracker里的masters和slaves文件,即可。

之所以没在linux下做实验,是因为有些任务需要在windows下跑,所以才z-turn了一下cygwin。明天要z-turn一下在Hadoop上写自己的MapReduce程序了。

Share and Enjoy:
  • Print
  • Digg
  • del.icio.us
  • Facebook
  • Google Bookmarks
  • 豆瓣
  • 豆瓣九点
  • QQ书签
  • Twitter
  • Add to favorites
  • email
  • FriendFeed
  • Live
1 Star2 Stars3 Stars4 Stars5 Stars (No Ratings Yet)
Loading ... Loading ...
2009年9月21日 | 归档于 云计算, 技术
标签: , ,
  1. chris
    2009年11月17日 20:06 | #1

    只需要修改nn节点的hadoop-env文件 将里面的rsync打开,并配置好这一项,hadoop就会startup的时候自动同步了。

发表评论

XHTML: 您可以使用这些标签: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong> <pre lang="" line="" escaped="">