hadoop学习笔记之初识hadoop hadoop单机版安装

2019-11-06 08:32:42

字体：大中小

来源：转载

供稿：网友

安装jdk-1.8并配置

1.将安装包复制到用户目录下并解压

tar -zxvf 安装包名 -C .

这里因为在用户目录下，可以不用sudo权限

2.配置环境变量

这个据我所知分为两种，分别是/etc/environment和~/.bashrc；前者是全局环境变量配置，后者是用户环境变量配置，根据需要选择

编辑文件，往其中添加

export java_HOME=/usr/lib/jvm/jdk1.8.0_121 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH

保存之后，source一下，如 source /etc/environment

但是有一个问题，如果设置系统级环境变量，在重启后需要重新source之后才能有效，对于这个问题，在用户级环境变量文件~/.bashrc中加入

source /etc/environment

指令之后，source ~/.bashrc即可在虚拟机重启之后，无法进入用户界面，密码正确也一直在登录页面循环，这个问题是由于环境变量/etc/environment中配置问题，解决方法如下: 1.Ctrl+Alt+F5进入命令行模式并登录 2.通过vi编辑/etc/environment文件，删除添加的内容

sudo vi /etc/environment

3.在编辑时，可能会抛出vi不可用的问题,这就需要手动source /etc/environment之后，再做操作2

3.测试是否可用

java -version

安装ssh和rsync

sudo apt-get install ssh sudo apt-get install rsync

由于前面安装过openssh，这一步暂时省略

下载hadoop2.7.3

http://hadoop.apache.org/releases.html#25+August%2C+2016%3A+Release+2.7.3+available

下载安装包并复制到用户目录下解压

配置环境变量

export HADOOP_HOME=/home/user/hadoop/hadoop2.7.3export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${PATH}

配置文件hadoop-env.sh(./etc/hadoop)

# set to the root of your Java installation export JAVA_HOME=/home/user/hadoop/jdk1.8.0_121

配置输入输出目录

mkdir input cp etc/hadoop/*.xml input bin/hadoop jar share/hadoop/maPReduce/hadoop-mapreduce-examples-2.7.3.jar grep input output 'dfs[a-z.]+' cat output/*