WEB开发网
开发学院服务器云计算 Hadoop集群部署配置文档2 阅读

Hadoop集群部署配置文档2

 2013-06-02 20:12:32 来源:WEB开发网   
核心提示: 1. CentOS配置1.1 同步时间1) 配置时间同步crontab -e 5 2 * * * /usr/sbin/ntpdate cn.pool.ntp.org && /sbin/hwclock -w2) 手动同步时间/usr/sbin/ntpdate cn.pool.ntp.org1.2 关闭防火墙1.3 调整

 1. CentOS配置

1.1 同步时间
1) 配置时间同步
crontab -e
  5 2 * * * /usr/sbin/ntpdate cn.pool.ntp.org && /sbin/hwclock -w
2) 手动同步时间
/usr/sbin/ntpdate cn.pool.ntp.org
1.2 关闭防火墙
1.3 调整openfiles
1) 查看: ulimit -a
2) 修改: echo 65535 > /proc/sys/fs/file-max 
3) vi /etc/security/limits.conf
  增加 * - nofile 65535 
4) vi /etc/sysctl.conf
  增加fs.file-max = 65535 
1.4 修改主机名
  注意主机名不能有下划线,否则启动hadoop会报错
  参考命令:  
   修改hostname:#hostname nn.xxxx.com 
   修改hostname:#vi /etc/sysconfig/network
          hostname=nn.xxxx.com 
          删除127.0.0.1的映射
   增加host:#vi /etc/hosts
        10.1.55.64 nn.xxxx.com nn.xxxx.com
   重启网卡:#/etc/init.d/network restart
1.5 修改/etc/hosts
10.2.55.64  nn.xxxx.com
10.2.55.68  snn.xxxx.com
10.2.55.64  jt.xxxx.com
10.2.55.60  dn60.xxxx.com
10.2.55.61  dn61.xxxx.com
10.2.55.62  dn62.xxxx.com
10.2.55.63  dn63.xxxx.com
10.2.55.65  dn65.xxxx.com
10.2.55.66  dn66.xxxx.com
10.2.55.67  dn67.xxxx.com
1.6 创建hadoop用户与目录
1) 增加hadoop用户
    groupadd hadoop
    useradd hadoop -G hadoop
2) 创建hadoop使用的目录
  mkdir /opt/hadoop
mkdir /opt/hadoop/dfs
mkdir /opt/hadoop/dfs/name
mkdir /opt/hadoop/dfs/namesecondary
mkdir /opt/hadoop/logs
mkdir /opt/hadoop/tmp

1 2 3 4 5 6  下一页

Tags:Hadoop 集群 部署

编辑录入:爽爽 [复制链接] [打 印]
赞助商链接