ubuntu下hadoop全分布安装

　2013-10-25 22:10:58　来源：WEB开发网　闂傚倸鍊搁崐椋庢濮橆兗缂氱憸宥堢亱闂佸湱铏庨崰鏍不椤栫偞鐓ラ柣鏇炲€圭€氾拷

闂傚倸鍊搁崐椋庣矆娓氣偓楠炲鏁撻悩鎻掔€梺姹囧灩閻忔艾鐣烽弻銉︾厵闁规鍠栭。濂告煕鎼达紕校闁靛洤瀚伴獮鎺楀箣濠靛啫浜鹃柣銏⑶圭壕濠氭煙閻愵剚鐏辨俊鎻掔墛缁绘盯宕卞Δ鍐冣剝绻涘畝濠佺敖缂佽鲸鎹囧畷鎺戭潩閹典焦鐎搁梻浣烘嚀閸ゆ牠骞忛敓锟�

婵犵數濮烽弫鍛婃叏椤撱垹绠柛鎰靛枛瀹告繃銇勯幘瀵哥畼闁硅娲熷缁樼瑹閳ь剙岣胯鐓ら柕鍫濇偪濞差亜惟闁宠桨鑳堕崝锕€顪冮妶鍡楃瑐闁煎啿鐖奸崺濠囧即閵忥紕鍘梺鎼炲劗閺呮稒绂掕缁辨帗娼忛埡浣锋闂佽桨鐒﹂幑鍥极閹剧粯鏅搁柨鐕傛嫹闂傚倸鍊搁崐椋庢濮橆兗缂氱憸宥堢亱闂佸湱铏庨崰鏍不椤栫偞鐓ラ柣鏇炲€圭€氾拷　　闂傚倸鍊搁崐鐑芥嚄閼哥數浠氱紓鍌欒兌缁垶銆冮崨鏉戠厺鐎广儱顦崡鎶芥煏韫囨洖校闁诲寒鍓熷铏圭磼濡搫顫岄梺璇茬箲濮樸劑鍩€椤掍礁鍤柛鎾跺枎椤繐煤椤忓嫬鐎銈嗘礀閹冲酣宕滄导瀛樷拺闂侇偆鍋涢懟顖涙櫠椤斿墽纾煎璺猴功缁夎櫣鈧鍠栭…閿嬩繆濮濆矈妲烽梺绋款儐閹瑰洤螞閸愩劉妲堟繛鍡楃箲濞堟﹢姊绘担椋庝覆缂傚秮鍋撴繛瀛樼矤閸撶喖宕洪埀顒併亜閹烘垵鈧綊寮抽鍕厱閻庯綆浜烽煬顒傗偓瑙勬磻閸楀啿顕ｉ崐鐕佹Ь闂佸搫妫寸粻鎾诲蓟閵娾晜鍋嗛柛灞剧☉椤忥拷

核心提示： 1．实验环境Ubuntu12.04Hadoop1.2.1Java1.6.0_132．实验准备1.在所有机器上安装ubuntu12.04，过程不赘述，ubuntu下hadoop全分布安装，在安装过程中命名所有的用户名是hadoop，机器名分别为minglaihan，在所有机器上执行:cd ~/.sshssh-keyge

1．实验环境

Ubuntu12.04

Hadoop1.2.1

Java1.6.0_13

2．实验准备

1.在所有机器上安装ubuntu12.04，过程不赘述。

在安装过程中命名所有的用户名是hadoop，机器名分别为minglaihan，node1，node2，其中minglaihan作为主节点，其他两个是从节点。

2.在所有机器上执行：

sudo gedit etc/hosts

添加如下地址：

192.168.1.104 minglaihan

192.168.1.109 node1

192.168.1.110 node2

3.保证你的用户拥有root级别

用gedit或者vim，

sudo gedit etc/sudoers

在root ALL=(ALL:ALL) ALL下添加hadoop ALL=(ALL:ALL) ALL。

3．安装过程

安装java
三台机器上都执行:

指令：cd ~/java

unzip jdk-6u13-linux-i586.zip

chmod +x jdk-6u13-linux-i586.bin

sudo ./ jdk-6u13-linux-i586.bin

接下来按Enter以及yes就可以了

Java安装好之后，在bash.bashrc里添加java路径

sudo gedit etc/bash.bashrc

添加：export JAVA_HOME=/home/hadoop/java/jdk1.6.0_13

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

然后就可以查看java –version。

安装ssh
三台机器上都执行：

sudo apt-get install ssh

安装完成后执行ssh localhost即可登录自身的ssh,

exit退出

配置ssh无密码登陆
Ssh的一个重要特点就是可以远程访问，接下来我们实现相互访问不需要密码。

在所有机器上执行:

cd ~/.ssh

ssh-keygen -t rsa -P “”之后一直按回车，然后可以看见提示生成密钥。

将id_rsa.pub追加到authorized_keys授权文件中

cat id_rsa.pub >> authorized_keys

然后在主节点minglaihan上执行：

进入/home/hadoop/.ssh目录中，复制authorized_keys到node1的.ssh文件夹中

scp authorized_keys hadoop@node1:/home/hadoop/.ssh

scp authorized_keys hadoop@node2:/home/hadoop/.ssh

接下来使用ssh node1和ssh node2就可以无密码访问了

安装hadoop
首先在所有机器上执行解压缩操作

tar zxvf hadoop-1.2.1.tar.gz

然后开始修改hadoop/conf里面的配置文件

① core-sie.xml

<name>hadoop.tmp.dir</name>

<value>/home/hadoop/hadoop-1.2.1/tmp</value>

<description>A base for other temporary directories.</description>

</property>

<name>fs.default.name</name>

<value>hdfs://minglaihan:9000</value>

The name of the default file system. A URI whose scheme and authority determine the FileSystem implementation. The uri’s scheme determines the config property (fs.SCHEME.impl) naming the FileSystem implementation class. The uri’s authority is used to determine the host, port, etc. for a filesystem.

</description>

</property>

</configuration>

② hadoop-env.sh

添加：export JAVA_HOME=/home/hadoop/java/jdk1.6.0_13

③ hdfs-site.xml

<name>dfs.replication</name>

1 2 下一页