Hadoop日志存放路径详解

释放双眼,带上耳机,听听看~!

Hadoop的日志有很多种,很多初学者往往遇到错而不知道怎么办,其实这时候就应该去看看日志里面的输出,这样往往可以定位到错误。Hadoop的日志大致可以分为两类:(1)Hadoop系统服务输出的日志;(2)Mapreduce程序输出来的日志。这两类的日志存放的路径是不一样的。本文基于Hadoop2.x版本进行说明的,其中有些地方在Hadoop1.x中是没有的,请周知。

一、Hadoop系统服务输出的日志

诸如NameNode、DataNode、ResourceManage(下称RM)等系统自带的服务输出来的日志默认是存放在
${HADOOP_HOME}/logs目录下。比如:
RM的输出日志为yarn-
${USER}-resourcemanager-
${hostname}.log,其中
${USER}是指启动RM进程的用户,
${hostname}是RM进程所在机器的hostname;当日志到达一定的大小(可以在
${HADOOP_HOME}/etc/hadoop/log4j.properties文件中配置)将会被切割出一个新的文件,切割出来的日志文件名类似yarn-
${USER}-resourcemanager-
${hostname}.log.数字的,后面的数字越大,代表日志越旧。在默认情况下,只保存前20个日志文件,比如下面:
Hadoop日志存放路径详解

上面这些都是可以配置的,比如RM(在${HADOOP_HOME}/etc/hadoop/log4j.properties):
Hadoop日志存放路径详解

二、Mapreduce程序相关的日志
Mapreduce程序的日志可以分为历史作业日志和Container日志。
(1)历史作业的记录里面包含了一个作业用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息;这些信息对分析作业是很有帮助的,我们可以通过这些历史作业记录得到每天有多少个作业运行成功、有多少个作业运行失败、每个队列作业运行了多少个作业等很有用的信息。这些历史作业的信息是通过下面的信息配置的:
Hadoop日志存放路径详解
Hadoop日志存放路径详解

给TA打赏
共{{data.count}}人
人已打赏
安全运维

MySQL到MongoDB的数据同步方法!

2021-12-11 11:36:11

安全运维

Ubuntu上NFS的安装配置

2021-12-19 17:36:11

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索