Hadoop集群部署配置文档2

　2013-06-02 20:12:32　来源：WEB开发网　　　

核心提示：mkdir/opt/hadoop/confmkdir/var/lib/hadoop-0.20/mkdir/var/lib/hadoop-0.20/cache/3) 修改目录权限 chown hadoop:hadoop/usr/local/hadoop-0.20.2-cdh3u3-R chown hadoop:hadoo

mkdir　/opt/hadoop/conf

mkdir　/var/lib/hadoop-0.20/

mkdir　/var/lib/hadoop-0.20/cache/

3) 修改目录权限

　　　 chown hadoop:hadoop　/usr/local/hadoop-0.20.2-cdh3u3　-R

　　　 chown hadoop:hadoop　/opt/hadoop -R

　　　 chown hadoop:hadoop　/var/lib/hadoop-0.20/ -R

　　　 chmod 700 -R /opt/hadoop

1.7 ssh配置

　 su - hadoop

　 ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

　 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

　需要将密钥分发到所有节点

2. Hadoop配置

2.1 hadoop-env.sh的设置

1) 设置jdk

export JAVA_HOME=/usr/java/jdk1.6.0_31x64

2) 设置log目录

　　export HADOOP_LOG_DIR=/opt/hadoop/logs

2.2 core-site.xml的设置

1) 参数fs.default.name

默认值	file:///
说明	设定hadoop namenode的hostname和port，默认是standalone mode，如果是pseudo-distributed mode要指定为hdfs://localhost:9000,在cluster mode，指定为hdfs://hostname:9000。Hadoop是依据hostname去做ip binding，所以需要注意/etc/hosts文件中hostname不能对应127.0.0.1，要对应实际的IP，为了安全可以对应到内网IP。
生产环境配置值	hdfs://nn.xxxx.com:9000

　Tip：linux下使用netstat -nl 可以查看ip和端口的binding状态。

2) 参数fs.trash.interval

默认值	0
说明	清空垃圾桶的时间间隔，单位分钟。默认0表示hadoop不自动清空垃圾桶。
生产环境配置值	4320（表示3天）