实战hadoop海量数据处理系列03 :数据仓库的设计

释放双眼,带上耳机,听听看~!

实战hadoop海量数据处理系列03 :数据仓库的设计

鉴于我们之前两章提前预热的开发环境,我们现在来讨论数据仓库的设计,其实本章应该放到一个正式的项目的前端,不过好事总会要来的,准备好数据仓库,我们就可以实地验证sqoop等程序的逻辑。Let’s go!

本文假设读者已经按照范老师的书搭建好了eclipse环境,并且已经导入myBi文件夹下面的子工程。

在阅读本文前,强烈建议阅读原书“系统结构设计”章节。

本文的代码同步于https://github.com/titer1/Play_HadoopFelix

ps:由于图床网络问题,本文的图显示不正常,所以请看不到图的小伙伴稍安勿躁,我会后续跟进处理,想了解原图的,可以在本文下面留言。

overview

  • 原书ER图思考
  • 本人对ER图细节的还原
  • 数据库建立脚本的细节
  • 利用存储过程快速填充数据库
  • 小节

1 原书的ER图

这是一张典型的订单系统ER图,作者很耐心的给出数据表

实战hadoop海量数据处理系列03 :数据仓库的设计

不过,仅仅从这个版本的书,初学者往往不能得到

  • ER图细节信息,两个实体之间是1:1或者1:N的关系
  • 数据库建立的详细过程
  • 订单系统运作的过程

关于订单系统,有兴趣的朋友可以详细参考这里 (点我),我将在下个小节讲述我对ER图的还原(仅从书上细节)

2 基于Mysql WorkBench的ER图

由于工作中对于数据库建模软件Mysql WorkBench更熟,我这里使用它来建模,建模图示如下:

实战hadoop海量数据处理系列03 :数据仓库的设计

其中 ,我们可以发现

  • 一个订单Orders 可以分解成若干 OrderItems
  • 其他,订单Order和Address是一对一关系,OrederItem和Item是一对一关系等

3 数据库创建代码

利用之前的数据库工具,可以导出数据库创建代码,详细如下:

4 巧用存储过程快速填充数据库

数据库有了,如果想快速的填充数据库,可利用存储过程

4.1 相关实例存储过程代码

代码中,外围是个循环控制,传入参数是随机生成记录的条数,其中最核心的代码是:

本例以填充Order为例,我将为所有整型的字段和日期字段填充内容,分别利用rand()和时间函数来填充对应的项目。关于日期函数的填充,我当前想到使用sysdate(),但本人认为效果不是我期望的,如果读者朋友有更好的建议,请留言。

4.2 运行效果

敲击命令 ,生成101条随机记录
call insert_Orders_For_alphaTest(101);

结果图示:
实战hadoop海量数据处理系列03 :数据仓库的设计

上面这章图详细的说明在windows访问数据的过程

实战hadoop海量数据处理系列03 :数据仓库的设计

上面这章图详细的说明在centos访问windows主机上同一个数据库数据的过程

5 小结

通过数据库建模最大程度的还原书中数据库,为后续真机数据导入等做好铺垫。 不足之处有: – 填充的数据没有考虑实际运行的场景 – 填充多个相关关联的表,本文中的存储过程函数就还需要大规模改进。

给TA打赏
共{{data.count}}人
人已打赏
安全运维

基于spring boot和mongodb打造一套完整的权限架构(三)【抽象实现类和swagger的实现】

2021-12-11 11:36:11

安全运维

Ubuntu上NFS的安装配置

2021-12-19 17:36:11

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索