实战hadoop海量数据处理系列02: hql执行工具

释放双眼,带上耳机,听听看~!

实战hadoop海量数据处理系列02: hql执行工具

本文假设读者已经按照范老师的书搭建好了eclipse环境,并且已经导入myBi文件夹下面的子工程。

在阅读本文前,强烈建议阅读原书“实现数据分析工具模块”章节。

本文的代码同步于https://github.com/titer1/Play_HadoopFelix

ps:由于图床网络问题,本文的图显示不正常,所以请看不到图的小伙伴稍安勿躁,我会后续跟进处理,想了解原图的,可以在本文下面留言。

1 原理图

实战hadoop海量数据处理系列02: hql执行工具
对比数据导入章节的结构图,你会发现本章原理类似,先解析xml,然后触发命令。

2 核心代码

首先理解xml文件,然后看相关的解析程序及hql执行逻辑。
这里仅列出作者详细注释的hql_exe.hql, 有兴趣的读者可以阅读加深并理解。

3 运行结果:windows模拟端

有图有真相,环境配置和运行细节见图,图时间长度不到1分钟
实战hadoop海量数据处理系列02: hql执行工具

4 运行结果:centos

待更新

5 小节

时间很快,就到了本系列的第二篇文章,从另外一个角度理解数据仓库工具的xml解析和查询命令的触发过程。

6 后记

至此,程序都可以在windows模拟端进行,如果有了数据库和hive,理解将会更加贴切,下面一节将会详细展开。

给TA打赏
共{{data.count}}人
人已打赏
安全运维

MySQL到MongoDB的数据同步方法!

2021-12-11 11:36:11

安全运维

Ubuntu上NFS的安装配置

2021-12-19 17:36:11

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索