Hadoop集群部署中完全分布式环境如何搭建

今天，我们来讲一下Hadoop集群部署中完全分布式环境如何搭建？干干干货学习！！！

[html]view plaincopy

一，环境
主节点一台： ubuntu desktop 16.04

zhoujun 172.16.12.1

从节点（slave）两台：ubuntu server 16.04

hadoop2 172.16.12.131

hadoop3 172.16.12.129

二， 搭建前准备

1, 为每台服务器配置 /etc/hosts

[plain]view plaincopy

sudo vim /etc/hosts

2,为每台机器 jdk 安装 ，具体的jdk类型大家可以根据自己的需求来选择，网上的方法也有很多

[plain]view plaincopy

sudo apt-get install openjdk-8-jre openjdk-8-jdk

3，为每台机器 安装 openssh-server ××

[plain]view plaincopy

sudo apt-get install openssh-server

安装好后 使用 ssh 登录下本机，这是会自动创建一个 ～/.ssh 的隐藏文件夹，其中放的是 ssh的相关密钥

[plain]view plaincopy

ssh localhost
然后在输入 exit 退出

[plain]view plaincopy

exit
4, 为每个台机器之间建立 ssh 的免密登录 ××

[plain]view plaincopy

cd ~/.ssh # 如果没有该目录，先执行一次ssh localhost rm ./id_rsa* # 删除之前生成的公匙（如果有） ssh-keygen -t rsa # 一直按回车就可以
让主节点能够免密登录在主节点

[plain]view plaincopy

cat ./id_rsa.pub >> ./authorized_keys

这里上图为zhoujun这台主机的免密登录成功， 其他两台，分别 执行 ssh hadoop2, 和 ssh hadoop3 都可以不用输入密码登录说明配置成功！

重点： 让主机能够免密登录到 hadoop2,和hadoop3

将zhoujun这台主机的公钥传到hadoop2,hadoop3的机器上

[plain]view plaincopy

scp ~/.ssh/id_rsa.pub zhoujun@hadoop2:/home/zhoujun/ # 将 zhoujun这台机器的公钥传到 hadoop2 , 注意 hadoop2主机的用户名为 zhoujun scp ~/.ssh/id_rsa.pub zhoujun@hadoop3:/home/zhoujun/
[plain]view plaincopy

# 将 zhoujun这台机器的公钥传到 hadoop3 , 注意 hadoop3主机的用户名也为 zhoujun，根据自己的情况设定
[plain]view plaincopy

# scp 是 secure copy 的简写，用于在 Linux 下进行远程拷贝文件，类似于 cp 命令，不过 cp 只能在本机中拷贝。
[plain]view plaincopy

# 执行 scp 时会要求输入 hadoop2 上 zhoujun 用户的密码，输入完成后会提示传输完毕，如下图所示：
关于scp的使用可以参考 scp 使用总结

然后在分别在 hadoop2，hdaoop3添加对应的公钥到 ssh的相关文件中

[plain]view plaincopy

mkdir ~/.ssh # 如果不存在该文件夹需先创建，若已存在则忽略 cat ~/id_rsa.pub >> ~/.ssh/authorized_keys rm ~/id_rsa.pub # 用完就可以删掉了

使用 ssh hadoop2 命令不需要输入密码就能成功登录了，会出现类似上图的界面！

注意： 后让master能够连接slave， 同时也能让slave 免密登录到master，配置类似，将slave节点的公钥传到其他的slave和master节点，

然后进行上诉步骤添加公钥到各个主机之中，即可

三， hadoop 安装

1, 下载hadoop的 安装包

hadoop 2.8.2

解压

[plain]view plaincopy

tar -zxvf hadoop-2.8.2.tar.gz

将解压后的hadoop 修改文件名 ，放入/opt文件夹下， 这里可以恶搞那句自己的设置

[plain]view plaincopy

sudo mv hadoop-2.8.2 /opt/hadoop/

进入到 /opt 文件夹下， 修改hadoop 文件夹的用户权限，这里我的用户名为 zhoujun， 请大家根据自己的用于名设置

[plain]view plaincopy

cd /opt/
[plain]view plaincopy

sudo chown -R zhoujun ./hadoop/

2, 配置hadoop的配置文件 core-site.xml, hdfs-site.xml, mapred-site.cml, yarn-site.xml

vim core-site.xml # 注意是<configuration></configuration>中的内容

内容如下：

[html]view plaincopy

<configuration><property><name>hadoop.tmp.dir</name><value>file:/opt/hadoop/tmp</value><deion>Abase for other temporary directories.</deion></property><property><name>fs.defaultFS</name><value>hdfs://zhoujun:9000</value></property></configuration>
vim hdfs-site.xml,

[html]view plaincopy

<configuration><property><name>dfs.namenode.secondary.http-address</name><value>zhoujun:50090</value></property><property><name>dfs.namenode.datanode.registration.ip-hostname-check</name><value>false</value></property><property><name>dfs.replication</name><value>3</value></property><property><name>dfs.namenode.name.dir</name><value>file:/opt/hadoop/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/opt/hadoop/tmp/dfs/data</value></property></configuration>
修改mapred-site.xml

[html]view plaincopy

cp mapred-site.xml.template mapred-site.xml vim mapred-site.xml
内容如下：

[html]view plaincopy

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapreduce.jobhistory.address</name><value>zhoujun:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>zhoujun:19888</value></property></configuration>
修改 yarn-site.xml

vim yarn-site.xml

内容如下：

[html]view plaincopy

<configuration><!-- Site specific YARN configuration properties --><property><name>yarn.resourcemanager.hostname</name><value>zhoujun</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property></configuration>
配置slaves 文件

[plain]view plaincopy

vim slaves
内容如下：

[html]view plaincopy

192.168.1.105 172.16.12.129 172.16.12.131
注意： 这里记得写 ip 地址，不要写主机名

3, 修改用户的 ~/.bashrc文件，注意这段内容每个节点都需要添加

[plain]view plaincopy

vim ~/,bashrc
在文件的头部添加：

[plain]view plaincopy

#Java export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 #Hadoop export HADOOP_HOME=/opt/hadoop export HADOOP_INSTALL=$HADOOP_HOME export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

[plain]view plaincopy

source ~/.bashrc # 让用户配置文件生效
4, 将配置到的hadoop文件传到对应的 hadoop2, hadoop3 节点

先压缩, 再上传

[plain]view plaincopy

cd /opt/ # 切换目录 ar -zcf ./hadoop.tar.gz ./hadoop/ # 压缩文件
[plain]view plaincopy

scp hadoop.tar.gz zhoujun@hadoop2: scp hadoop.tar.gz zhoujun@hadoop3:

5, 然后分别进入hadoop2, hadoop3 节点，解压， 放入到 /opt 文件夹下，同时加入用户权限

[plain]view plaincopy

tar -zxvf hadoop.tar.gz # 解压
[plain]view plaincopy

sudo mv hadoop /opt/hadoop # 移动
[plain]view plaincopy

sudo chown -R zhoujun /opt/hadoop # 授予权限

同理对于hadoop3 执行第5步，

6, 格式化hdfs文件系统

[plain]view plaincopy

hdfs namenode -format
在这一步请确保hdfs-site.xml中用到的文件及文件夹不存在，如有，请删除再执行上面的命令！

好了，集群安装基本上完成了

四， 测试：

进入主节点服务器：zhoujun节点 利用start-all.sh 启动

在浏览器上访问：

五， 注意问题！

一定要注意各个主机的网络，一定要是同一个路由器下的，即同一个网段下的服务器，不然可能出现只有一个datanode的情况，或者没有datanode等的问题！

其次，保证ssh 能够正常通信，这个是前提

后，大家在安装的时候一定要细心，多一个字母数字，少一个字母数字，你的结果或许就千差万别了！

更多技术咨询敬请关注：誉天教育 Q Q：3200569443