CentOS 7 单机安装最新版Hadoop v3.1.2以及配置和简单测试
Hadoop 官方真正支持的作业平台只有Linux,本文演示如何在CentOS 7 上安装单机Hadoop v3.1.2(安装一个单机上运行的 Hadoop)。
安装Hadoop可分为三种模式,如下图所示。
Hadoop 单机模式(Standalone Mode)特点:
不具备HDFS,只能测试MapReduce 程序。
开始正式安装之前,先看看Hadoop 目录结构:
1. 验证Java版本
java -version
2. 下载hadoop v3.1.2、解压缩
wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.1.2/hadoop-3.1.2.tar.gz
解压缩
tar xzf hadoop-3.1.2.tar.gz
创建 /usr/local/hadoop 目录,并复制hadoop。
(1)创建目录
mkdir /usr/local/hadoop
(2)复制hadoop到/usr/local/hadoop
mv hadoop-3.1.2 /usr/local/hadoop/
3. 配置Hadoop 环境变量,需要配置 hadoop目录下的 bin 和 sbin 目录
注:环境变量可在 ~/.bash_profile(只对当前用户有效 ) 或者 /etc/profile(对所有用户有效) 中配置;
修改 vim /etc/profile 配置文件,如下所示:
export HADOOP_HOME=/usr/local/hadoop/hadoop-3.1.2
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
保存退出,执行 source profile,是配置生效。
4. 配置hadoop-env.sh
添加JAVA_HOME路径,如下所示。
vim etc/hadoop/hadoop-env.sh
5. 查看Hadoop 版本信息
执行如下命令:
$ bin/hadoop
屏幕将显示 Hadoop 脚本的使用文档。
运行如下命令,查看Hadoop 版本信息:
bin/hadoop version
6. 测试Hadoop,运行WordCount 示例
首先,在hadoop 目录下,创建 input 目录,用来存放输入数据;
mkdir input
然后,将 etc/hadoop 文件夹下的配置文件,拷贝到 input 目录;
cp etc/hadoop/*.xml ./input
接下来,在hadoop 目录下,新建output 目录,用来存放输出数据;(可以忽略)
最后,执行如下代码;
hadoop-3.1.2]# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.2.jar grep ./input ./output 'dfs[a-z.]+'
执行完成之后,我们可以执行如下命令查看输出的数据内容:
cat output/*
这表示,在所有的配置文件中,只有一个符合正则表达式的单词,结果正确。
如果在上述执行 hadoop 命令时,出现如下异常:
2019-05-26 15:37:29,925 INFO impl.MetricsConfig: loaded properties from hadoop-metrics2.properties
2019-05-26 15:37:35,232 ERROR impl.MetricsSystemImpl: Error getting localhost name. Using 'localhost'...
java.net.UnknownHostException: centos-103: centos-103: Name or service not known
解决方案是在/etc/hosts文件中添加如下红色的内容,配置 ip 地址和对应的hostname。
192.168.56.103 centos-103
Hadoop 安装官方文档链接:
Hadoop: Setting up a Single Node Cluster.
http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html#Standalone_Operation
请先 后发表评论~