(一)hadoop的伪分布集群环境的搭建

为了方便大家学习，采用伪分布集群，学习效果一样。

1.在VMware中安装CentOS，这一步不作过多解释，不懂的可以自己google。

2.网络设置

*选择仅主机模式，方便主机与linux进行通信

　　　　*设置主机的虚拟网卡VMnet1的ip地址，此地址任意，只要设置linux与其在同一网段即可。

　　　　 *设置linux的网络　　

　　　　　　　　　　ip:192.168.80.100 网关：192.168.80.1 掩码：255.255.255.0

*重启网络 service network restart 生效

*关闭防火墙 chkconfig iptables off

　　　　 *设置主机名 hostname fly

　　　　 *将hostname与ip绑定

　　　　　　　　　　 vi /etc/hosts

　　　　　　　　　　　　在hosts文件中添加此行： 192.168.80.100 fly

3.安装jdk

　　　　*将jdk-6u24-linux-i586.bin拷贝到linux系统的usr/local目录下

　　　　*执行以下命令：

　　　　　　　　　　　　cd /usr/local

　　　　　　　　　　　　./jdk-6u24-linux-i586.bin

　　　　　　　　　　　　mvjdk-6u24-linux-i586.bin jdk

　　 *设置linux的环境变量：

　　　　　　　　　　　　vi /etc/PRofile

　　　　　　　　　　　　　　　添加以下内容：export java_HOME=/usr/local/jdk

　　　　　　　　　　　　　　　　　　　　　　export PATH=.:$JAVA_HOME/bin:$PATH

source /etc/profile

　　　　*java -version 查看是否安装成功

4.安装hadoop ,自行下载hadoop的对应版本　　http://hadoop.apache.org/releases.html

　　　　*将hadoop-1.1.2.tar.gz拷贝到linux系统的usr/local目录下

　　　 *执行以下命令：　　　　

　　　　　　　　　　　　　cd /usr/local

　　　　　　　　　　　　 mvhadoop-1.1.2.tar.gz hadoop

　　　　　　　　　　　　 vi /etc/profile 增加：

　　　　　　　　　　　　　　　　　　export JAVA_HOME=/usr/local/jdk

　　　　　　　　　　　　　　　　　　export HADOOP_HOME=/usr/local/hadoop

　　　　　　　　　　　　　　　　　　export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

　　　　　　　　　　　　　source /etc/profile

*修改conf下的

　　　　　　　　①hadoop-env.sh:

　　　　　　　　　　 export JAVA_HOME=/usr/local/jdk/

　　　　　　　　②core-site.xml:

　　　　　　　　　　　　<configuration>

　　　　　　　　　　　　　　<property>

　　　　　　　　　　　　　　　　<name>fs.default.name</name>

　　　　　　　　　　　　　　　　<value>hdfs://fly:9000</value> #注：你的hostname

　　　　　　　　　　　　　　 </property>

　　　　　　　　　　　　　　<property>

　　　　　　　　　　　　　　　　 <name>hadoop.tmp.dir</name>

　　　　　　　　　　　　　　　　 <value>/usr/local/hadoop/tmp</value>

　　　　　　　　　　　　　　</property>

　　　　　　　　　　　　　</configuration>

　　　　　　 ③hdfs-site.xml：

　　　　　　　　　　　　 <configuration>

　　　　　　　　　　　　　　 <property>

　　　　　　　　　　　　　　　　<name>dfs.replication</name>

　　　　　　　　　　　　　　　　<value>1</value>

　　　　　　　　　　　　　　　</property>

　　　　　　　　　　　　　　 <property>

　　　　　　　　　　　　　　　　<name>dfs.permissions</name>

　　　　　　　　　　　　　　　　 <value>false</value>

　　　　　　　　　　　　　　　</property>

　　　　　　　　　　　　 </configuration>

　　　　　　　 ④mapred-site.xml：　　　　　　　　　　　　

　　　　　　　　　　<configuration>

　　　　　　　　　　　　<property>

　　　　　　　　　　　　　　<name>mapred.job.tracker</name>

　　　　　　　　　　　　　　<value>hadoop0:9001</value>

　　　　　　　　　　　　</property>

　　　　　　　　　　</configuration>

5.自此配置已完成，启动hadoop

　　　　hadoop namenode -format

　　　　start-all.sh

6.执行jps ,看到一下5个进程，证明启动成功　

7.在主机浏览器 ，http://192.168.80.100:50070

本节已完成。

1.主机与客户机通信工具：PieTTY 0.3.26

2.主机与客户机文件同步工具：WinSCP

需要所有相关软件的朋友同博主联系：QQ 260710327