hadoop多台机器集群的配置

核心提示：<value>hdfs://master:49000</value></property><property><name>hadoop.tmp.dir</name><value>/home/hadooper/hadooptmp</

<value>hdfs://master:49000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadooper/hadooptmp</value>
</property>
</configuration>
3.hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>

4.mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:49001</value>
</property>
</configuration>

5. masters 文件
我的文件内容为

master

因为此前已经配置好hosts文件，把ip和机器名对应了起来。如果没有配置hosts文件，此处用对应的ip代替。

6. slaves 文件
我的文件内容为

slave1
slave2

同上

这样在一个机器上的hadoop文件夹就配置好了。现在就可以将这个文件夹用
scp -r hadoop-1.1.2 hzm@192.168.28.130:~ 来把整个hadoop文件夹复制到其他机器的用户主目录了。

复制完成之后，可以从master机器上启动hadoop。命令为
bin/hadoop namenode -format #格式化dfs
bin/start-all.sh #启动namenode datanode Jobstracker Taskstracker

不出意外的话，可以从 用浏览器master:50030 和master：50070上查看dfs和mapreduce的状态了。

5.其他
在配置的过程中，ssh的过程可能会遇到比较多的问题。这个时候除了以上介绍的方法外，可以去试着改变一下.ssh文件的目录。好像在一些系统下这个会导致.ssh 配置出现问题。如果在添加用户或者之类的文件出现了linux系统的问题，可以用recovery模式下更改权限等。另外尽量不要去直接编辑/etc/sudoers文件