Hadoop集群部署配置文档1
2013-06-02 20:11:22 来源：WEB开发网核心提示： 1. 概述本文档是hadoop集群的部署配置文档，详细描述了hadoop生产集群的安装步骤与配置参数，Hadoop集群部署配置文档1，本文档涉及软件版本如下： 序号 软件
1. 概述
本文档是hadoop集群的部署配置文档，详细描述了hadoop生产集群的安装步骤与配置参数。
本文档涉及软件版本如下：
|
序号
|
软件
|
版本
|
|
1
|
操作系统
|
CentOS5.5
|
|
2
|
JDK
|
JDK1.6.0_31
|
|
3
|
hadoop
|
Cloudera CDH3U3
|
注：全部为64位
2. 名词解释
1) Hadoop，Apache开源的分布式存储与处理框架。
2) HDFS，hadoop的分布式文件系统
3) NameNode，HDFS元数据主节点服务器，负责保存DataNode 文件存储元数据信息。存在单点故障，生产环境需要考虑该缺陷。简称为nn
4) JobTracker，hadoop的Map/Reduce调度器，负责与TackTracker通信分配计算任务并跟踪任务进度。简称为jt。
5) DataNode，hadoop数据节点，负责存储数据。简称为dn。
6) TaskTracker，hadoop调度程序，负责Map,Reduce 任务的具体启动和执行。简称为tt。
7) Secondary namenode，辅助namenode，主要目的是减少hadoop集群故障后再次启动的时间，对namenode的命名空间镜像与编辑日志做备份。简称为snn。
3. 硬件说明
1) 集群机器
|
序号
|
服务IP
|
主机名
|
用途
|
硬件配置
|
|
1
|
10.2.55.60
|
dn60.xxxx.com
|
dn/tt
|
DELL2950/2.00GHz 1*4核CPU/8G内存/4个500G+2个1T硬盘/1000M网卡
|
|
2
|
10.2.55.61
|
dn61.xxxx.com
|
dn/tt
|
DELL2950/2.00GHz 1*4核CPU/8G内存/6个500G硬盘/1000M网卡
|
|
3
|
10.2.55.62
|
dn62.xxxx.com
|
dn/tt
|
DELL2950/2.00GHz 1*4核CPU/8G内存/6个500G硬盘/1000M网卡
|
|
4
|
10.2.55.63
|
dn63.xxxx.com
|
dn/tt
|
DELL2950/2.00GHz 1*4核CPU/8G内存/6个500G硬盘/1000M网卡
|
|
5
|
10.2.55.64
|
nn.xxxx.com
|
nn/jt
|
DELL1950/2.33GHz 2*4核CPU/8G内存/300G硬盘/1000M网卡
|
|
6
|
10.2.55.68
|
snn.xxxx.com
|
snn
|
DELL2950/2.33GHz 2*4核CPU/8G内存/800G硬盘/1000M网卡
|
|
7
|
10.2.55.65
|
dn65.xxxx.com
|
dn/tt
|
DELL2950/2.00GHz 1*4核CPU/8G内存/6个500G硬盘/1000M网卡
|
|
8
|
10.2.55.66
|
dn66.xxxx.com
|
dn
|
DELL2950/2.00GHz 1*4核CPU/2G内存/1个150G+5个500G硬盘/1000M网卡
|
|
9
|
10.2.55.67
|
dn67.xxxx.com
|
dn/tt
|
DELL2950/2.00GHz 1*4核CPU/8G内存/6个500G硬盘/1000M网卡
|
中查找“Hadoop集群部署配置文档1”更多相关内容
中查找“Hadoop集群部署配置文档1”更多相关内容更多精彩
赞助商链接
