存档

  • 折腾Hadoop的一天

    Hadoop自己的文档写的也确实不是特别清楚,抛去折腾(英文:z-turn)cygwin的时间,也花了我将近两个小时才把Hadoop Cluster配置起来。主要参考了两篇文档:
    Cluster Setup
    Running Hadoop On Ubuntu Linux (Multi-Node Cluster)
    这里总结一下我的经验,把hosts各主机的主机名配好(生产中的应用应该用name server来作),然后在某台充当NameNode和JobTracker的机器上把Hadoop配置完成以后,将该配置好的Hadoop通过rsync的方式同步到其他机器上去,然后修改NameNode和JobTracker里的masters和slaves文件,即可。
    之所以没在linux下做实验,是因为有些任务需要在windows下跑,所以才z-turn了一下cygwin。明天要z-turn一下在Hadoop上写自己的MapReduce程序了。

    276 次查看 | 1 条评论
    2009年9月21日 | 归档于 云计算, 技术
    标签: , ,
  • 了解一些“云”

    Windows Azure Platform
    The Windows Azure Platform provides a wide range of internet services that can be consumed from both on-premises environments or the internet.
    Apache Hadoop

    The Apache Hadoop project develops open-source software for reliable, scalable, distributed computing. Hadoop includes these subprojects:

    Hadoop Common: [...]

    293 次查看 | 2 条评论
    2009年8月24日 | 归档于 Windows, 技术
文章标签 ‘Hadoop’