WEB开发网
开发学院服务器云计算 Hadoop集群部署配置文档2 阅读

Hadoop集群部署配置文档2

 2013-06-02 20:12:32 来源:WEB开发网   
核心提示:8) 参数dfs.support.append 默认值 true 说明
8) 参数dfs.support.append
默认值
true
说明
指定是否可在HDFS原有文件内容之后加入新内容。在 Cloudera 及 MapR 的版本都已经加入该功能。使用flume需要设置为true。
生产环境配置值
true
 Tip: 
9) 参数dfs.namenode.handler.count
默认值
10
说明
设定namenode server threads的数量,这些threads使用RPC 跟其他的 datanodes通信。但datanodes数量太多时会发现很容易出现RPC timeout,解决方法是提高网速或调高这个值,但要注意的是thread数量多也表示namenode使用内存也随着增加。在Hadoop Cluster Setup这篇文章中提到900个nodes 只需要设为40,也有人说100个node需要100个thread
生产环境配置值
目前不需要修改,使用默认值
 Tip: 
10) 参数dfs.http.address
默认值
0.0.0.0:50070
说明
Namenode的Web UI用的ip和port。除非是为了security的考虑才会修改binding 的 IP/Port,不然不需要修改。
生产环境配置值
10.1.55.64:50070
 Tip: namenode的WEB UI地址:http://10.1.55.64:50070/dfshealth.jsp
11) 参数dfs.namenode.logging.level
默认值
info
说明
指定namenode的logging level。其他的可选取值有:A)dir :看namenode serve的变化。B)block:看blocks新增、删除或副本变化。C)all:显示全部log。除非为了debug,否则不建议修改。
生产环境配置值
保持默认

上一页  5 6 7 8 9 10 11 12 13 14 15  下一页

Tags:Hadoop 集群 部署

编辑录入:爽爽 [复制链接] [打 印]
赞助商链接