ubuntu下hadoop全分布安装

核心提示：Default block replication. The actual number of replications can be specified when the file is created. The default is used if replication is not specified in c

Default block replication. The actual number of replications can be specified when the file is created. The default is used if replication is not specified in create time.

</description>

</property>

<property>

<name>dfs.name.dir</name>

<value>/home/hadoop/hadoop-1.2.1/hdfs/name</value>

<description>

</description>

</property>

<property>

<name>dfs.data.dir</name>

<value>/home/hadoop/hadoop-1.2.1/hdfs/data</value>

<description>

</description>

</property>

</configuration>

④ mapred-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>3</value>

<description>

Default block replication. The actual number of replications can be specified when the file is created. The default is used if replication is not specified in create time.

</description>

</property>

<property>

<name>dfs.name.dir</name>

<value>/home/hadoop/hadoop-1.2.1/hdfs/name</value>

<description>

</description>

</property>

<property>

<name>dfs.data.dir</name>

<value>/home/hadoop/hadoop-1.2.1/hdfs/data</value>

<description>

</description>

</property>

</configuration>

⑤ master

minglaihan

⑥ slaves

node1

node2

启动hadoop
cd ~/hadoop-1.2.1

首先格式化namenode

bin/hadoop namenode –format

然后启动所有节点

bin/start-all.sh

用jps查看当前hadoop启动的进程

jps

如果如果有Namenode，SecondaryNameNode，TaskTracker，DataNode，JobTracker，Jps六个进程表示已经启动成功。

当然我在这一步卡了很久，始终有各种各样的问题，在这个过程中也会学到很多，所以遇到有namenode或者datanode没启动，主要的处理方法就是清除tmp和logs文件夹，然后每次格式化后查看logs，根据报错查找问题。

stop-all.sh停止所有进程

此时在浏览器中查看minglaihan：50030,可以看到hadoop的mapreduce管理界面

wordcount测试
在home主目录下创建一个装有无数单词的文本，例如test.txt

将test.txt传输到hdfs系统的input里，

bin/hadoop fs -copyFromLocal home/hadoop/test.txt input

在hadoop文件夹下执行：

hadoop jar hadoop-examples-1.2.1.jar wordcount input output

将输出结果传到output里

此时mapreduce会显示执行信息，执行完毕后，用指令查看

hadoop fs –cat output/part-r-00000

显示计算单词结果