WEB开发网
开发学院软件开发Java 用 Hadoop 进行分布式数据处理,第 2 部分: 进阶 阅读

用 Hadoop 进行分布式数据处理,第 2 部分: 进阶

 2010-07-06 00:00:00 来源:WEB开发网   
核心提示: 格式化名称节点之后,就可以启动 Hadoop 守护进程了,用 Hadoop 进行分布式数据处理,第 2 部分: 进阶(6),可以对第 1 部分中的伪分布式配置执行同样的操作,但进程为分布式配置完成同样的工作,注意,脚本启动主节点上的 jobtracker(正如配置所定义的;参见 清单 5)和每个

格式化名称节点之后,就可以启动 Hadoop 守护进程了。可以对第 1 部分中的伪分布式配置执行同样的操作,但进程为分布式配置完成同样的工作。注意,这里的代码启动名称节点和从属名称节点(正如 jps 命令所指示):

清单 8. 启动名称节点

root@master:~# /usr/lib/hadoop-0.20/bin/start-dfs.sh 
starting namenode, logging to 
 /usr/lib/hadoop-0.20/bin/../logs/hadoop-root-namenode-mtj-desktop.out 
192.168.108.135: starting datanode, logging to 
 /usr/lib/hadoop-0.20/bin/../logs/hadoop-root-datanode-mtj-desktop.out 
192.168.108.134: starting datanode, logging to 
 /usr/lib/hadoop-0.20/bin/../logs/hadoop-root-datanode-mtj-desktop.out 
192.168.108.133: starting secondarynamenode, 
 logging to /usr/lib/hadoop-0.20/logs/hadoop-root-secondarynamenode-mtj-desktop.out 
root@master:~# jps 
7367 NameNode 
7618 Jps 
7522 SecondaryNameNode 
root@master:~# 

现在,如果使用 jps 节点检测其中一个从节点(数据节点),您会看到每个节点上都有一个数据节点守护进程:

清单 9. 检测其中一个从节点上的数据节点

root@slave1:~# jps 
10562 Jps 
10451 DataNode 
root@slave1:~# 

下一步是要启动 MapReduce 守护进程(jobtracker 和 tasktracker)。如 清单 10 所示执行该操作。注意,脚本启动主节点上的 jobtracker(正如配置所定义的;参见 清单 5)和每个从节点上的 tasktrackers。主节点上的一个 jps 命令显示 jobtracker 正在运行。

上一页  1 2 3 4 5 6 7 8 9 10  下一页

Tags:Hadoop 进行 分布式

编辑录入:爽爽 [复制链接] [打 印]
赞助商链接