系列目录：

Hadoop实战（1）_阿里云搭建Hadoop2.x的伪分布式环境

Hadoop实战（2）_虚拟机搭建Hadoop的全分布模式

Hadoop实战（3）_虚拟机搭建CDH的全分布模式

Hadoop实战（4）_Hadoop的集群管理和资源分配

Cloudera Manager如何卸载

卸载CM Server

1
2
3
1sh /usr/share/cmf/uninstall-cloudera-manager.sh

2rm -rf /usr/share/cmf /var/lib/cloudera* /var/cache/yum/x86_64/6/cloudera* /var/log/cloudera* /var/run/cloudera*  /etc/cloudera*

3

看日志，

CM manager的日志，/var/log/cloudera-manager-installer、/var/log/cloudera-scm-agent、/var/log/cloudera-scm-server。

关键目录，

各个服务的安装根目录，/opt/cloudera/parcels/CDH/lib
。

配置文件，HDFS服务的三大配置文件，/etc/hadoop/conf。yarn的配置文件，oop/conf.cloudera.yarn。hive的配置文件，/etc/hive/conf。

日志，Hadoop服务的日志都在界面里看。

NameNode热备HA实现

Capacity调度配置，实现多租户机制

Linux下帐户的根目录：/home/用户名

HDFS下帐户的根目录：/user/用户名

HDFS的回收站是帐户级别的，在/user/用户名/.Trash

1、设置调度类型

1
2
3
4
5
1<property>

2    <name>yarn.resourcemanager.scheduler.class</name>

3    <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>

4</property>

5

2、指定划分的queue名，分别分配50%，30%，20%的资源

1
2
3
4
5
1<property>

2    <name>yarn.scheduler.capacity.root.queues</name>

3    <value>default, queueB, queueC</value>

4</property>

5

3、划分资源

1
2
3
4
5
6
7
8
9
10
11
12
13
1<property>

2    <name>yarn.scheduler.capacity.root.default.capacity</name>

3    <value>50</value>

4</property>

5<property>

6    <name>yarn.scheduler.capacity.root.queueB.capacity</name>

7    <value>30</value>

8</property>

9<property>

10    <name>yarn.scheduler.capacity.root.queueC.capacity</name>

11    <value>20</value>

12</property>

13

4、指定每个queue下的帐户

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
1<property>

2    <name>yarn.scheduler.capacity.root.default.acl_submit_applications</name>

3    <value>root,hadoop</value>

4    <description>限定哪些Linux用户/用户组可向给定队列中提交应用程序</description>

5</property>

6<property>

7    <name>yarn.scheduler.capacity.root.default.acl_administer_queue</name> 

8    <value>hadoop</value> 

9    <description>为队列指定管理员，可杀死任意一个应用程序等</description>

10</property>

11<property>

12    <name>yarn.scheduler.capacity.root.default.state</name>

13    <value>RUNNING</value>

14    <description>default队列的状态，可以是RUNNING或者STOPPED.</description>

15</property>

16

Hadoop运维经验补充

服务器更改IP怎么办？

更新/etc/hosts，启动服务查看是否正常，如果不能正常用，执行主机-重新运行升级向导。

如何往集群中添加节点？

执行主机-向集群添加新主机。

7180界面打开后进行首个检查

7180界面打开后，不要立刻启动服务，先进行一项检测后再启动服务，查看主机-上一检测信号。如果发现某节点没检测信号，首先把cm Agent起来：

1
2
3
1chkconfig --list|grep cloudera

2service cloudera-scm-agent start

3

如何更换集群的JDK

如果用其他版本jdk7是否能用？不能用其他版本的jdk，哪怕小版本号对不上都不行。

当需要把JDK7升级为JDK8时，修改JAVA_HOME，就可以了吗？

1、修改JAVA_HOME尝试是否可行。（全节点）

1
2
3
4
5
1tar xvzf jdk-8u131-linux-x64.tar.gz

2vi /etc/profile

3

4JAVA_HOME=/root/jdk1.8.0_131

5

2、cm界面里重启服务，查看是否起效？不起效。

1
2
3
4
1# 查看JDK

2ps -ef|grep java

3

4

解决办法：在主机-配置-高级配置Java主目录，并在/etc/profile修改JAVA_HOME。