Hadoop集群部署配置文档2
2013-06-02 20:12:32 来源：WEB开发网核心提示：Tip： 5) 参数dfs.safemode.threshold.pct 默认值 0.999f
Tip：
5) 参数dfs.safemode.threshold.pct
|
默认值
|
0.999f
|
|
说明
|
Hadoop在启动时，预设会进入safe mode，也就是仅读模式，这时是不能写入文件的。只有当99.9%的blocks 达到最小的 dfs.replication.min数量(默认是 1)才会离开safe mode。在dfs.replication.min设置比较大或data nodes数量较多时会等待较长的时间。大于1，表示永远不离开safe mode，在Hadoop cluster需要做migration时很好用，即可继续读取服务，又可防止使用者写入文件导致migration不完全。等于0 ，表示不启动safe mode。在local测试时会非常方便，不然常常会需要等待一段时间或需要执行hadoop dfsadmin -safemode leave才能离开安全模式。
|
|
生产环境配置值
|
1.0f
|
Tip：
6) 参数dfs.hosts
|
默认值
|
N/A
|
|
说明
|
默认情况下，只要datanodes在hdfs-site.xml指定namenode，在mapred-site.xml指定jobtracker的地址就可以加入这个cluster。但是为了安全考虑，系统管理员需要决定仅有特定的nodes可以加入。该值指定一个文件的位置，例如 : /etc/hadoop/conf/dfs-hosts，在该文件中列出所有需要连接namenode的node清单。不在清单中的node没有权限。在 mapred-site.xml也有类似的值mapred.hosts来指定可以连接jobtracker的node清单。
|
|
生产环境配置值
|
/opt/hadoop-conf/datanode-include
|
Tip：
7) 参数dfs.hosts.exclude
|
默认值
|
N/A
|
|
说明
|
下线datanode节点时使用，具体参考其他文档说明。
|
|
生产环境配置值
|
/opt/hadoop-conf/datanode-exclude
|
Tip：hadoop dfsadmin -refreshNodes
中查找“Hadoop集群部署配置文档2”更多相关内容
中查找“Hadoop集群部署配置文档2”更多相关内容更多精彩
赞助商链接
