存档
-
折腾Hadoop的一天
Hadoop自己的文档写的也确实不是特别清楚,抛去折腾(英文:z-turn)cygwin的时间,也花了我将近两个小时才把Hadoop Cluster配置起来。主要参考了两篇文档:
Cluster Setup
Running Hadoop On Ubuntu Linux (Multi-Node Cluster)
这里总结一下我的经验,把hosts各主机的主机名配好(生产中的应用应该用name server来作),然后在某台充当NameNode和JobTracker的机器上把Hadoop配置完成以后,将该配置好的Hadoop通过rsync的方式同步到其他机器上去,然后修改NameNode和JobTracker里的masters和slaves文件,即可。
之所以没在linux下做实验,是因为有些任务需要在windows下跑,所以才z-turn了一下cygwin。明天要z-turn一下在Hadoop上写自己的MapReduce程序了。276 次查看 | 1 条评论 -
了解一些“云”
Windows Azure Platform
The Windows Azure Platform provides a wide range of internet services that can be consumed from both on-premises environments or the internet.
Apache HadoopThe Apache Hadoop project develops open-source software for reliable, scalable, distributed computing. Hadoop includes these subprojects:
Hadoop Common: [...]
293 次查看 | 2 条评论

最新评论