WEB开发网
开发学院服务器云计算 Hadoop集群部署配置文档1 阅读

Hadoop集群部署配置文档1

 2013-06-02 20:11:22 来源:WEB开发网   
核心提示:2) 集群能力存储能力:14T运算能力:最大map任务数4×6=24,最大reduce任务数2×6=123) Hadoop硬件规范参考,Hadoop集群部署配置文档1(2),(具体的与应用有关,计算密集型、存储密集型、平衡型)2010年国外datanode与tasknode的典型配置如下:l C
2) 集群能力
存储能力:14T
运算能力:最大map任务数4×6=24,最大reduce任务数2×6=12
3) Hadoop硬件规范参考。(具体的与应用有关,计算密集型、存储密集型、平衡型)
2010年国外datanode与tasknode的典型配置如下:
l CPU:2×4核2-2.5GHz
l 内存:16-24GB ECC RAM
l 存储:4×1TB SATA硬盘
l 网络:千兆以太网
4. 网络拓扑
l Hadoop存储数据依赖于节点在机架中位置,默认hadoop认为所有节点属于同一机架,当实际情况与默认不一致时需要在core-site.xml中配置。
l xxxx目前情况与默认一致。
l 使用内网IP来保证集群的安全性,内部要严格限制人员对集群信息的获取。
5. 分区需求
1) Raid
a) Namenode
l 方法1:留1块盘做热备,其余做raid5
l 方法2:用2 块盘做raid1,用作安装OS+SPFTWARE+CONFIG,然后留1块盘做热备,其余做raid5用作数据盘。
b) Datanode
l 用2块sata做raid1,用作安装OS+SPFTWARE+CONFIG,其他sata盘不做raid,用作数据盘
c) 说明
  这样配置namenode是为了让os/soft/config有冗余,即使其中一块盘坏,依然能正常工作
  这样配置datanode是为了让读写磁盘的效率增加,提升iops
2) 分区
a) 系统
/      50G
/boot    200M
/swap    20G
/var    50G
/usr    100G
/opt    100G
b) 数据
  /data1---数据盘1
  ...
  /datan---数据盘n
6. 目录规划
序号
说明
目录
1
Jdk安装目录
/usr/java/jdk1.6.0_31x64
2
Hadoop安装目录
/usr/local/hadoop-0.20.2-cdh3u3
3
Ant安装目录
/usr/local/apache-ant-1.8.3
4
Hadoop配置相关根目录
/opt/hadoop
5
Hadoop HDFS相关根目录
/opt/hadoop/dfs
6
Hadoop namenode HDFS空间镜像文件目录
/opt/hadoop/dfs/name
7
Hadoop Secondary namenode HDFS空间镜像文件目录
/opt/hadoop/dfs/secondaryname
8
Hadoop 日志
/opt/hadoop/logs
9
Hadoop 临时目录
/opt/hadoop/tmp
10
Hadoop 配置文件目录
/opt/hadoop/conf
11
Mapred用临时目录
/var/lib/hadoop-0.20/cache/

上一页  1 2 3 4 5  下一页

Tags:Hadoop 集群 部署

编辑录入:爽爽 [复制链接] [打 印]
赞助商链接