详解VMware12使用三台虚拟机Ubuntu16.04系统搭建hadoop-2.7.1+hb

初衷

首先说明一下既然网上有那么多教程为什么要还要写这样一个安装教程呢？网上教程虽然多，但是有些教程比较老，许多教程忽略许多安装过程中的细节，比如添加用户的权限，文件权限，小编在安装过程遇到许多这样的问题所以想写一篇完整的教程，希望对初学Hadoop的人有一个直观的了解，我们接触真集群的机会比较少，虚拟机是个不错的选择，可以基本完全模拟真实的情况，前提是你的电脑要配置相对较好不然跑起来都想死，废话不多说。

环境说明

本文使用VMware® Workstation 12 Pro虚拟机创建并安装三台Ubuntu16.04系统分别命名为master、slave1、slave2对应对应NameNode、DataNode、DataNode。

安装过程中要求三个系统中配置基本相同除个别配置（比如：节点的命名）

192.168.190.128 master

192.168.190.129 slave1

192.168.190.131 slave2

在虚拟机Linux上安装与配置Hadoop

需要说明的是下面的所有配置三台Ubuntu系统都要配置而且是基本一样，为了使配置一致，先在一台机器上配置然后将对应配置scp到其他机器上

虚拟机的安装不是本文重点，这里就不赘述了。安装之后是这样的：

在Linux上安装Hadoop之前，需要安装两个程序：

1）JDK1.6(或更高版本),本文采用JDK 1.7。Hadoop是Java编写的程序，Hadoop的编译及MapReduce都需要使用JDK。因此，在安装Hadoop前，必须安装JDK1.6或更高版本。

2)SSH(安装外壳协议)，推荐安装OpenSSH.Hadoop需要通过SSH来启动Slave列表中各台机器的守护进程，因此SSH也是必须安装的，即使是安装伪分布版本（因为Hadoop并没有区分集群式和伪分布式）。对于伪分布式，Hadoop会采用与集群相同处理方式，即按次序启动文件conf/slaves中记载的主机上的进程，只不过在伪分布式中Slave为localhost（即本身），所以对于伪分布式Hadoop，SSH也是一样必须的。

部署步骤

添加一个hadoop用户，并赋予相应权利，我们接下来hadoop Hbase的安装都要在hadoop用户下操作，所以hadoop用户要将hadoop的文件权限以及文件所有者赋予给hadoop用户。

1.每个虚拟机系统上都添加 hadoop 用户，并添加到 sudoers

sudo adduser hadoop

sudo gedit /etc/sudoers

找到对应添加如下：

# User privilege specificationroot  ALL=(ALL:ALL) ALLhadoop ALL=(ALL:ALL) ALL

2.切换到 hadoop 用户：

su hadoop

3.修改 /etc/hostname 主机名为 master

当然master虚拟机设置为master

其他两个虚拟机分别设置为slave1、slave2

4.、修改 /etc/hosts

127.0.0.1 localhost127.0.1.1  localhost.localdomain  localhost192.168.190.128 master192.168.190.129 slave1192.168.190.131 slave2# The following lines are desirable for IPv6 capable hosts::1   ip6-localhost ip6-loopbackfe00::0 ip6-localnetff00::0 ip6-mcastprefixff02::1 ip6-allnodesff02::2 ip6-allrouters

5.安装JDK 1.7

(1)下载和安装JDK 1.7

jdk-7u76-linux-x64.tar.gz 

使用tar命令

tar -zxvf jdk-7u76-linux-x64.tar.gz

将安装文件移动到JDK安装目录，本文JDK的安装目录为/usr/lib/jvm/jdk1.7.0_76