Hadoop集群部署配置文档2

　2013-06-02 20:12:32　来源：WEB开发网　　　

核心提示：Tip：在为0时，需要在hadoop删除命令中指定不放入垃圾箱，Hadoop集群部署配置文档2(3)，直接删除hadoop fs -rm -skipTrash、hadoop fs -rmr -skipTrash或执行hadoop fs -expunge清空垃圾箱，-skipTrash会导致误删除无法挽回，seconda

Tip：在为0时，需要在hadoop删除命令中指定不放入垃圾箱，直接删除hadoop fs -rm -skipTrash、hadoop fs -rmr -skipTrash

　　或执行hadoop fs -expunge清空垃圾箱。-skipTrash会导致误删除无法挽回，忘记执行-expunge会导致空间不能及时回收。

　　Hadoop的垃圾回收机制仅适用于命令行。通过eclipse的hadoop插件删除的文件不会放入垃圾箱。

　　垃圾箱目录/user/${user.name}/.Trash，恢复时，直接将要恢复的文件copy回去即可。

3) 参数hadoop.tmp.dir

默认值	/tmp/hadoop-${user.name}
说明	Hadoop存放临时文件的目录，会根据user帐户建不同的子目录，好多目录参数的默认值都以它为根路径。默认放在/tmp目录，一般centos会enable tmpwatch，tmpwatch会定期把/tmp下没有用到的文件删除，如果不希望这样做，可以disable tmpwatch或把hadoop tmp目录指到其他目录。
生产环境配置值	/opt/hadoop/tmp

　Tip：

4) 参数fs.checkpoint.dir

默认值	${hadoop.tmp.dir}/dfs/namesecondary
说明	secondary namenode存放文件的目录，多个用“，”隔开。设定多个的好处是Hadoop会把temp image Filesf分别写到指定的多个目录，以免其中一份资料损坏。seconary namenode不一定需要，甚至hadoop cluster可以不需要启动secondary namenode。但是重启namenode 时也会做file merge，edit文件大时，重启的时间会非常长。为了减少downtime，建议在production site都会启动secondary namenode，而且要起在namenode 不同的机器，以保证namenode硬盘坏掉时，可以从secondary namenode上把资料备份回来。
生产环境配置值	/opt/hadoop/dfs/namesecondary

　　Tip：

5) 参数fs.checkpoint.period

默认值	3600(秒)
说明	控制secondary namenode的checkpoint时间间隔。如果距离上次checkpoint的时间大于这个参数设定的值，就会触发checkpoint。secondary namenode 会把namenode 的 fsimage 和 editlog 做 snapshot。如果存取 Hadoop 的次数频繁或为了减少重启namenode 的 downtime，可以把这个值设小一些。
生产环境配置值	1800