详解使用docker搭建hadoop分布式集群

使用Docker搭建部署Hadoop分布式集群

在网上找了很长时间都没有找到使用docker搭建hadoop分布式集群的文档，没办法，只能自己写一个了。

一：环境准备：

1：首先要有一个Centos7操作系统，可以在虚拟机中安装。

2：在centos7中安装docker，docker的版本为1.8.2

安装步骤如下：

<1>安装制定版本的docker 

yum install -y docker-1.8.2-10.el7.centos 

<2>安装的时候可能会报错，需要删除这个依赖

rpm -e lvm2-7:2.02.105-14.el7.x86_64

启动docker

service docker start

验证安装结果：

<3>启动之后执行docker info会看到下面有两行警告信息

需要关闭防火墙并重启系统

systemctl stop firewalldsystemctl disable firewalld#注意：执行完上面的命令之后需要重启系统reboot -h(重启系统)

<4>运行容器可能会报错

需要关闭selinux

解决方法：

1：setenforce 0(立刻生效，不需要重启操作系统)

2：修改/etc/selinux/config文件中的SELINUX=disabled ，然后重启系统生效

建议两个步骤都执行，这样可以确保系统重启之后selinux也是关闭状态

3：需要先构建一个hadoop的基础镜像，使用dockerfile文件方式进行构建。

先构建一个具备ssh功能的镜像，方便后期使用。（但是这样对于容器的安全性会有影响）

注意：这个镜像中的root用户的密码是root

Mkdir centos-ssh-root Cd centos-ssh-root Vi Dockerfile

# 选择一个已有的os镜像作为基础 FROM centos # 镜像的作者 MAINTAINER crxy # 安装openssh-server和sudo软件包，并且将sshd的UsePAM参数设置成no RUN yum install -y openssh-server sudo RUN sed -i 's/UsePAM yes/UsePAM no/g' /etc/ssh/sshd_config #安装openssh-clientsRUN yum install -y openssh-clients# 添加测试用户root，密码root，并且将此用户添加到sudoers里 RUN echo "root:root" | chpasswd RUN echo "root  ALL=(ALL)    ALL" >> /etc/sudoers # 下面这两句比较特殊，在centos6上必须要有，否则创建出来的容器sshd不能登录 RUN ssh-keygen -t dsa -f /etc/ssh/ssh_host_dsa_key RUN ssh-keygen -t rsa -f /etc/ssh/ssh_host_rsa_key # 启动sshd服务并且暴露22端口 RUN mkdir /var/run/sshd EXPOSE 22 CMD ["/usr/sbin/sshd", "-D"]

构建命令：

docker build -t=”crxy/centos-ssh-root” .

查询刚才构建成功的镜像

4：基于这个镜像再构建一个带有jdk的镜像

Mkdir centos-ssh-root-jdk Cd centos-ssh-root-jdk Cp ../jdk-7u75-Linux-x64.tar.gz . Vi Dockerfile