Hadoop集群部署配置文档2

　2013-06-02 20:12:32　来源：WEB开发网　　　

核心提示：Tip： WEB UI会显示状态，正常是Active，Hadoop集群部署配置文档2(8)，损坏时为InactiveCdh3u3存在一个BUG：— Data corruption may occur when storage paths have same final name elementWhen th

　Tip： WEB UI会显示状态，正常是Active，损坏时为Inactive

Cdh3u3存在一个BUG：

— Data corruption may occur when storage paths have same final name element

When the NameNode is configured with multiple storage directories, some rare failure scenarios may result in a corrupt namespace if the final elements in the path names are the same, such as /data/1/nn and/data/2/nn.

Bug: https://issues.apache.org/jira/browse/HDFS-3652

Severity: Medium

Resolution: Fixed in CDH3u5.

Workaround: Rename the directories so that the final element of the path is different for each; for example, do not use /data/1/nn and /data/2/nn but instead use /data/1/nn1 and /data/2/nn2).

2) 参数dfs.name.edits.dir

默认值	${dfs.name.dir}
说明	存储editlog的根目录，默认与fsimage一样
生产环境配置值	保持默认

　Tip：

3) 参数dfs.replication

默认值	3
说明	Blocks的副本数量，测试环境可以设置为1。Client 端也可以根据使用状况指定该值。如果所设置的值小于 dfs.replication，在执行hadoop fsck指令时会看到该block被标注为Under-Replicated Blocks。备份机制请查阅其他文档。
生产环境配置值	3

　Tip：

4) 参数dfs.block.size

默认值	67108864（64MB）
说明	每个block的大小，默认为64MB。建议修改为134217728(128MB)。Client也可自行決定要使用的block size而不需要更改整个cluster的设定。
生产环境配置值	134217728（128MB）