WEB开发网
开发学院操作系统Ubuntu ubuntu下hadoop全分布安装 阅读

ubuntu下hadoop全分布安装

 2013-10-25 22:10:58 来源:WEB开发网   
核心提示:Default block replication. The actual number of replications can be specified when the file is created. The default is used if replication is not specified in c

Default block replication. The actual number of replications can be specified when the file is created. The default is used if replication is not specified in create time.

</description>

</property>

<property>

<name>dfs.name.dir</name>

<value>/home/hadoop/hadoop-1.2.1/hdfs/name</value>

<description>

</description>

</property>

<property>

<name>dfs.data.dir</name>

<value>/home/hadoop/hadoop-1.2.1/hdfs/data</value>

<description>

</description>

</property>

</configuration>

④ mapred-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>3</value>

<description>

Default block replication. The actual number of replications can be specified when the file is created. The default is used if replication is not specified in create time.

</description>

</property>

<property>

<name>dfs.name.dir</name>

<value>/home/hadoop/hadoop-1.2.1/hdfs/name</value>

<description>

</description>

</property>

<property>

<name>dfs.data.dir</name>

<value>/home/hadoop/hadoop-1.2.1/hdfs/data</value>

<description>

</description>

</property>

</configuration>

⑤ master

minglaihan

⑥ slaves

node1

node2

启动hadoop
cd ~/hadoop-1.2.1

首先格式化namenode

bin/hadoop namenode –format

然后启动所有节点

bin/start-all.sh

用jps查看当前hadoop启动的进程

jps

如果如果有Namenode,SecondaryNameNode,TaskTracker,DataNode,JobTracker,Jps六个进程表示已经启动成功。

当然我在这一步卡了很久,始终有各种各样的问题,在这个过程中也会学到很多,所以遇到有namenode或者datanode没启动,主要的处理方法就是清除tmp和logs文件夹,然后每次格式化后查看logs,根据报错查找问题。

stop-all.sh停止所有进程

此时在浏览器中查看minglaihan:50030,可以看到hadoop的mapreduce管理界面

wordcount测试
在home主目录下创建一个装有无数单词的文本,例如test.txt

将test.txt传输到hdfs系统的input里,

bin/hadoop fs -copyFromLocal home/hadoop/test.txt input

在hadoop文件夹下执行:

hadoop jar hadoop-examples-1.2.1.jar wordcount input output

将输出结果传到output里

此时mapreduce会显示执行信息,执行完毕后,用指令查看

hadoop fs –cat output/part-r-00000

显示计算单词结果

上一页  1 2 

Tags:ubuntu hadoop 分布

编辑录入:爽爽 [复制链接] [打 印]
赞助商链接