hadoop实战(二)ubuntu18.04搭建hadoop集群

一、 安装JDK

官网下载jdk压缩包并解压， vim /etc/proflie 或者修改vi ~/.bashrc 加上如下：

1
2
3
4
5
1export JAVA_HOME=/home/hadoop/jdk1.8.0_161

2export HADOOP_HOME=/home/hadoop/hadoop-2.9.1

3export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

4

5

然后是Source /etc/proflie 或者Source ~/.bashrc ，查看java是否配置成功使用java -version

二、配置ssh免密登录

因为需要涉及到启动hadoop集群，其实是用ssh来实现，如果每次手动去输入密码，一旦节点过多就会很麻烦，可以配置免密登录来解决。

1
2
3
4
5
6
7
8
1cd ~/.ssh

2ssh-keygen -R IP 删除旧的秘钥

3ssh-keygen -t rsa （四个回车）

4执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

5将公钥拷贝到要免密登陆的目标机器上

6ssh-copy-id localhost（目标主机地址）

7

8

三、修改hosts

为了方便使用，这里手动添加两个域名解析，

1
2
3
4
5
6
7
1vi /etc/hosts

2192.168.206.131 mini1

3192.168.206.132 mini2

4192.168.206.130 mini3

5192.168.206.134 mini4

6

7

四、配置hadoop

首先应该下载压缩包 http://archive.apache.org/dist/hadoop/core/ ，下载需要的版本然后解压，注意：hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop，进入到目录中
1、hadoop-env.sh，知道jdk路径

1
2
3
4
5
1   vim hadoop-env.sh

2   #第27行

3   export JAVA_HOME=/home/hadoop/jdk1.8.0_161

4

5

2、core-site.xml

1
2
3
4
5
6
7
8
9
10
11
12
1   <!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->

2           <property>

3               <name>fs.defaultFS</name>

4               <value>hdfs://mini1:9000</value>

5           </property>

6           <!-- 指定hadoop运行时产生文件的存储目录 -->

7           <property>

8               <name>hadoop.tmp.dir</name>

9               <value>/home/hadoop/hadoop-2.9.1/hadoopdata</value>

10      </property>

11

12

3、hdfs-site.xml

1
2
3
4
5
6
7
8
9
10
11
1   <property>

2       <name>dfs.replication</name>

3       <value>3</value>

4   </property>

5   

6   <property>

7       <name>dfs.secondary.http.address</name>

8       <value>mini1:50090</value>

9   </property>

10

11

4、mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)

1
2
3
4
5
6
7
8
9
1    mv mapred-site.xml.template mapred-site.xml

2   vim mapred-site.xml

3   <!-- 指定mr运行在yarn上 -->

4   <property>

5       <name>mapreduce.framework.name</name>

6       <value>yarn</value>

7   </property>

8

9

5、yarn-site.xml

1
2
3
4
5
6
7
8
9
10
11
1   <property>

2       <name>yarn.resourcemanager.hostname</name>

3       <value>mini1</value>

4   </property>

5   <!-- reducer获取数据的方式 -->

6   <property>

7       <name>yarn.nodemanager.aux-services</name>

8       <value>mapreduce_shuffle</value>

9   </property>

10

11

完成之后需要先格式化hdfs文件系统

1
2
3
1hdfs namenode -format (hadoop namenode -format)

2

3

启动hadoop

1
2
3
4
5
6
7
1   先启动HDFS

2   sbin/start-dfs.sh

3   

4   再启动YARN

5   sbin/start-yarn.sh

6

7

验证是否启动成功

1
2
3
4
5
6
7
8
9
10
11
12
1   使用jps命令验证

2   27408 NameNode

3   28218 Jps

4   27643 SecondaryNameNode

5   28066 NodeManager

6   27803 ResourceManager

7   27512 DataNode

8

9   http://192.168.206.101:50070 （HDFS管理界面）

10  http://192.168.206.101:8088 （MR管理界面）

11

12