CentOS 7 单机安装最新版Hadoop v3.1.2以及配置和简单测试

Hadoop 官方真正支持的作业平台只有Linux,本文演示如何在CentOS 7 上安装单机Hadoop v3.1.2(安装一个单机上运行的 Hadoop)。

安装Hadoop可分为三种模式,如下图所示。

Hadoop 单机模式(Standalone Mode)特点:

不具备HDFS,只能测试MapReduce 程序。

开始正式安装之前,先看看Hadoop 目录结构:

1. 验证Java版本

java -version

2. 下载hadoop v3.1.2、解压缩

wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.1.2/hadoop-3.1.2.tar.gz

解压缩

tar xzf hadoop-3.1.2.tar.gz

创建 /usr/local/hadoop 目录,并复制hadoop。

(1)创建目录

mkdir /usr/local/hadoop

(2)复制hadoop到/usr/local/hadoop

mv hadoop-3.1.2 /usr/local/hadoop/

3. 配置Hadoop 环境变量,需要配置 hadoop目录下的 bin 和 sbin 目录

注:环境变量可在 ~/.bash_profile(只对当前用户有效 ) 或者 /etc/profile(对所有用户有效) 中配置;

修改 vim /etc/profile 配置文件,如下所示:

export HADOOP_HOME=/usr/local/hadoop/hadoop-3.1.2

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

保存退出,执行 source profile,是配置生效。

4. 配置hadoop-env.sh

添加JAVA_HOME路径,如下所示。

vim etc/hadoop/hadoop-env.sh

5. 查看Hadoop 版本信息

执行如下命令:

$ bin/hadoop

屏幕将显示 Hadoop 脚本的使用文档。

运行如下命令,查看Hadoop 版本信息:

bin/hadoop version

6. 测试Hadoop,运行WordCount 示例

首先,在hadoop 目录下,创建 input 目录,用来存放输入数据;

mkdir input

然后,将 etc/hadoop 文件夹下的配置文件,拷贝到 input 目录;

cp etc/hadoop/*.xml ./input

接下来,在hadoop 目录下,新建output 目录,用来存放输出数据;(可以忽略)

最后,执行如下代码;

hadoop-3.1.2]# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.2.jar grep ./input ./output 'dfs[a-z.]+'

执行完成之后,我们可以执行如下命令查看输出的数据内容:

cat output/*

这表示,在所有的配置文件中,只有一个符合正则表达式的单词,结果正确。

如果在上述执行 hadoop 命令时,出现如下异常:

2019-05-26 15:37:29,925 INFO impl.MetricsConfig: loaded properties from hadoop-metrics2.properties

2019-05-26 15:37:35,232 ERROR impl.MetricsSystemImpl: Error getting localhost name. Using 'localhost'...

java.net.UnknownHostException: centos-103: centos-103: Name or service not known

解决方案是在/etc/hosts文件中添加如下红色的内容,配置 ip 地址和对应的hostname。

192.168.56.103 centos-103

Hadoop 安装官方文档链接:

Hadoop: Setting up a Single Node Cluster.

http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html#Standalone_Operation

举报
评论 0