实战hadoop海量数据处理系列 01:数据导入篇
本文假设读者已经按照范老师的书搭建好了eclipse环境,并且已经导入myBi文件夹下面的子工程。
在阅读本文前,强烈建议阅读原书“实现数据导入导出模块”章节。
本文的代码同步于https://github.com/titer1/Play_HadoopFelix
1 项目结构图
借用范老师的图,这是全篇的重要点,本文重要import, export的内容可以触类旁通。
原图
2 项目核心代码
这里是import.py的代码,作者已经详细注释,请认真阅读
3 运行动态图:windows模拟端
有图有真相
4 运行动态图:Centos
待更新
其他 原书代码工程解读
拿到作者工程第一步,先要对工程的结构进行分析。首先,工程领域压缩包里面有两个分类,一个是基础篇,第二个是实战篇,本系列的着力点在实战篇。myBi是实战篇的基础,建议小伙伴们首先看这个工程。
如果大家有后续问题,可以帖子后留言,我会后续跟进.