Hadoop集群部署配置文档2

　2013-06-02 20:12:32　来源：WEB开发网　　　

核心提示：Tip：需要在${user.home}建立hadoop-http-auth-signature-secret并且设置为仅读，17) 参数hadoop.http.authentication.simple.anonymous.allowed 默认值

　　Tip：需要在${user.home}建立hadoop-http-auth-signature-secret并且设置为仅读。

17) 参数hadoop.http.authentication.simple.anonymous.allowed

默认值	true
说明	当hadoop.http.authentication.type=simple时，表明是否允许匿名用户访问。默认允许
生产环境配置值	保持默认

　　Tip：

18) 参数topology.script.file.name

默认值	N/A
说明	实现hadoop的Hadoop Rack Awareness。指定一个可执行的脚本文件，输入为一组hostname或ip，返回机架名清单。默认情况下，hadoop会认为所有节点在同一机架
生产环境配置值	目前未使用

Tip：脚本python示例，其他语言也可。

19) 参数hadoop.native.lib

默认值	true
说明	默认hadoop会将所有可用的native libraries自动load进来使用，例如压缩类库GZIP、LZO等等。Debug时，设置为false会将native换为相应的java实现执行，方便调试。没有相应的java实现也会加载native libraries。
生产环境配置值	保持默认值

Tip：LZO没有默认的java实现。

2.3 hdfs-site.xml的设置

2.3.1 Namenode相关

1) 参数dfs.name.dir

默认值	${hadoop.tmp.dir}/dfs/name
说明	指定存取fsimage的目录，fsimage非常重要，如果损毁将无法访问hdfs，意味着数据丢失。不建议放在 ${hadoop.tmp.dir}目录下。生产环境要用“,”指定多个目录，Hadoop 会复制fsimage的资料到所有的目录下，如果其中一个损坏，hadoop会自动使用正常的目录并把正确的文件复制到损坏的目录下。写多个目录时是原子性的。需要注意多个目录时，最后的目录名不能相同。
生产环境配置值	/opt/hadoop/dfs/name,/data1/hadoop/dfs/name1（在nfs上）考虑是否需要增加目录