详解从 0 开始使用 Docker 快速搭建 Hadoop 集群环境

Linux

Info:

Docker 本身就是基于 Linux 的，所以首先以我的一台服务器做实验。虽然最后跑 wordcount 已经由于内存不足而崩掉，但是之前的过程还是可以参考的。

连接服务器

使用 ssh 命令连接远程服务器。

ssh root@[Your IP Address]

更新软件列表

apt-get update

更新完成。

安装 Docker

sudo apt-get install docker.io

当遇到输入是否继续时，输入「Y／y」继续。

安装完成

输入「docker」测试是否安装成功。

拉取镜像

镜像，是 Docker 的核心，可以通过从远程拉取镜像即可配置好我们所需要的环境，我们这次需要的是 Hadoop 集群的镜像。

在本文中，我们将使用 kiwenlau 的 Hadoop 集群镜像以及其配置。由于我的服务器本身即在国外，因此拉取镜像的速度较快，国内由于众所周知的原因，可以替换为相应的国内源，以加快拉取速度。

sudo docker pull kiwenlau/hadoop:1.0

拉取镜像完成。

克隆仓库

克隆仓库到当前文件夹（可以自行创建并切换到相应文件夹）。

git clone https://github.com/kiwenlau/hadoop-cluster-docker

克隆仓库完成

桥接网络

sudo docker network create --driver=bridge hadoop

运行容器

cd hadoop-cluster-docker./start-container.sh

默认是 1 个主节点，2 个从节点，当然也可以根据性能调整为 N 节点，详见文末参考链接。