Hadoop集群部署配置文档2
2013-06-02 20:12:32 来源：WEB开发网核心提示：Tip： 6) 参数fs.checkpoint.size 默认值 67108864(byte)
Tip：
6) 参数fs.checkpoint.size
|
默认值
|
67108864(byte)
|
|
说明
|
如果 Hadoop 非常的忙碌，editlog可能会在短时间内长的很大，fs.checkpoint.period的设定不见得可以完全预测这个状况，所以保险的做法会多设置这个值，以保证文件超过fs.checkpoint.size的值也会触发checkpoint。
|
|
生产环境配置值
|
保持默认
|
Tip：
7) 参数io.file.buffer.size
|
默认值
|
4096(byte)
|
|
说明
|
Hadoop读写文件的buffer size, 可減少I/O次数。建议设置为65536 到 131072。
|
|
生产环境配置值
|
65536（64KB）
|
Tip：
8) 参数io.compression.codecs
|
默认值
|
org.apache.hadoop.io.compress.DefaultCodec,
org.apache.hadoop.io.compress.GzipCodec,
org.apache.hadoop.io.compress.BZip2Codec,
org.apache.hadoop.io.compress.DeflateCodec,
org.apache.hadoop.io.compress.SnappyCodec
|
|
说明
|
压缩算法，默认支持default、gzip、bzip2、deflate、snappy。需要增加lzo的支持
|
|
生产环境配置值
|
org.apache.hadoop.io.compress.DefaultCodec,
org.apache.hadoop.io.compress.GzipCodec,
org.apache.hadoop.io.compress.BZip2Codec,
org.apache.hadoop.io.compress.DeflateCodec,
org.apache.hadoop.io.compress.SnappyCodec,
com.hadoop.compression.lzo.LzoCodec,
com.hadoop.compression.lzo.LzopCodec
|
中查找“Hadoop集群部署配置文档2”更多相关内容
中查找“Hadoop集群部署配置文档2”更多相关内容更多精彩
赞助商链接
