Hadoop集群部署配置文档1

　2013-06-02 20:11:22　来源：WEB开发网　　　

核心提示：2) 集群能力存储能力：14T运算能力：最大map任务数4×6=24，最大reduce任务数2×6=123) Hadoop硬件规范参考，Hadoop集群部署配置文档1(2)，（具体的与应用有关，计算密集型、存储密集型、平衡型）2010年国外datanode与tasknode的典型配置如下：l C

2) 集群能力

存储能力：14T

运算能力：最大map任务数4×6=24，最大reduce任务数2×6=12

3) Hadoop硬件规范参考。（具体的与应用有关，计算密集型、存储密集型、平衡型）

2010年国外datanode与tasknode的典型配置如下：

l CPU：2×4核2-2.5GHz

l 内存：16-24GB ECC RAM

l 存储：4×1TB SATA硬盘

l 网络：千兆以太网

4. 网络拓扑

l Hadoop存储数据依赖于节点在机架中位置，默认hadoop认为所有节点属于同一机架，当实际情况与默认不一致时需要在core-site.xml中配置。

l xxxx目前情况与默认一致。

l 使用内网IP来保证集群的安全性，内部要严格限制人员对集群信息的获取。

5. 分区需求

1) Raid

a) Namenode

l 方法1：留1块盘做热备，其余做raid5

l 方法2：用2 块盘做raid1，用作安装OS+SPFTWARE+CONFIG，然后留1块盘做热备，其余做raid5用作数据盘。

b) Datanode

l 用2块sata做raid1，用作安装OS+SPFTWARE+CONFIG，其他sata盘不做raid，用作数据盘

c) 说明

　这样配置namenode是为了让os/soft/config有冗余，即使其中一块盘坏，依然能正常工作

　这样配置datanode是为了让读写磁盘的效率增加，提升iops

2) 分区

a) 系统

/　　　　　 50G

/boot　　　 200M

/swap　　　 20G

/var　　　　50G

/usr　　　　100G

/opt　　　　100G

b) 数据

　 /data1---数据盘1

　 ...

　 /datan---数据盘n

6. 目录规划

序号	说明	目录
1	Jdk安装目录	/usr/java/jdk1.6.0_31x64
2	Hadoop安装目录	/usr/local/hadoop-0.20.2-cdh3u3
3	Ant安装目录	/usr/local/apache-ant-1.8.3
4	Hadoop配置相关根目录	/opt/hadoop
5	Hadoop HDFS相关根目录	/opt/hadoop/dfs
6	Hadoop namenode HDFS空间镜像文件目录	/opt/hadoop/dfs/name
7	Hadoop Secondary namenode HDFS空间镜像文件目录	/opt/hadoop/dfs/secondaryname
8	Hadoop 日志	/opt/hadoop/logs
9	Hadoop 临时目录	/opt/hadoop/tmp
10	Hadoop 配置文件目录	/opt/hadoop/conf
11	Mapred用临时目录	/var/lib/hadoop-0.20/cache/