Hadoop集群部署配置文档2

　2013-06-02 20:12:32　来源：WEB开发网　　　

核心提示：Tip： 2.3.2 Secondary Namenode相关1) 参数dfs.secondary.http.address 默认值 0.0.0.0:50090

　Tip：

2.3.2 Secondary Namenode相关

1) 参数dfs.secondary.http.address

默认值	0.0.0.0:50090
说明	Secondary Namenode的Web UI用的ip和port。除非是为了security的考虑才会修改binding 的 IP/Port，不然不需要修改。
生产环境配置值	10.2.55.68:50090

　Tip： Secondary namenode的WEB UI地址：http://10.1.55.68:50090

2.3.3 Datanode相关

1) 参数dfs.data.dir

默认值	${hadoop.tmp.dir}/dfs/data
说明	指定本机上数据存储目录，如果指定多个目录，可用“,”分隔。在production环境会指定多个，并设定 dfs.datanode.failed.volumes.tolerated。一般来说，多个目录会对应到系统上不同的partitions，不同的硬盘。设定多个可以加快存取速度。
生产环境配置值	/data0/hadoop/hdfs,/data1/hadoop/hdfs,/data2/hadoop/hdfs,/data3/hadoop/hdfs,/data4/hadoop/hdfs

　Tip：

2) 参数dfs.datanode.failed.volumes.tolerated

默认值	0
说明	这个参数要对应dfs.data.dir参数设定的目录个数，0 表示只要有任何一个volume坏掉datanode就会被强制停止。假设挂载n 个volumns，hadoop会确定n – dfs.datanode.failed.volumes.tolerated不能小于0。
生产环境配置值	3

　Tip：

3) 参数dfs.datanode.du.reserved

默认值	0(byte)
说明	默认值表示data nodes会使用整个volumns，写满后会导致无法再写入M/R jobs或启动data nodes时的临时文件。如果还有其他程序共用这些目录也会影响。建议至少保留1073741824(1G) 的空间。
生产环境配置值	10737418240（10GB）