Hive与Hbase的整合

Hive与Hbase的整合

Hive版本是2.1.1，Hbase版本是1.4.3

1. Hbase表映射到Hive表中

1.1 Hive的配置文件修改

1.1.1 修改hive-site.xml配置文件，添加配置属性

1
2
3
4
5
6
1<property>

2    <name>hbase.zookeeper.quorum</name>

3    <value>server01:2181,server02:2181,server03:2181</value>

4</property>

5

6

1.1.2 修改hive-env.sh文件

1
2
3
1# 添加一个环境变量

2export HIVE_CLASSPATH=$HIVE_CLASSPATH:/hadoop/hbase/lib/*

3

1.2 Hbase数据创建

1.2.1 在hbase中创建表，表名为hbase_test，有三个列族，分别为f1,f2,f3

1
2
1create 'hbase_test',{NAME => 'f1',VERSION => 1},{NAME => 'f2',VERSION => 1},{NAME => 'f3',VERSION => 1}

2

1.2.2 向hbase_test表中插入数据

1
2
3
4
5
6
7
8
9
10
11
12
1put 'hbase_test','001','f1:name','liubei'

2put 'hbase_test','001','f2:age','30'

3put 'hbase_test','001','f3:sex','male'

4

5put 'hbase_test','002','f1:name','guanyu'

6put 'hbase_test','002','f2:age','28'

7put 'hbase_test','002','f3:sex','female'

8

9put 'hbase_test','003','f1:name','zhangfei'

10put 'hbase_test','003','f2:age','27'

11put 'hbase_test','003','f3:sex','male'

12

1.2.3 scan查询

1
2
1scan 'hbase_test'

2

1.3 Hive创建数据库，关联Hbase

1.3.1 创建Hive表

1
2
3
4
5
6
7
8
9
10
11
1# 这里使用的是外部表，即便是删除hive表，Hbase的数据也存在

2

3CREATE EXTERNAL TABLE hiveFromHbase(

4rowkey string,

5f1 map<STRING,STRING>,

6f2 map<STRING,STRING>,

7f3 map<STRING,STRING>

8) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'

9WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,f1:,f2:,f3:")

10TBLPROPERTIES ("hbase.table.name" = "hbase_test");

11

• hbase.columns.mapping：Hive表和HBase表的字段映射关系。

分别为：Hive表中第一个字段映射:key(rowkey)，第二个字段映射列族f1，第三个字段映射列族f2,第四个字段映射列族f3

• hbase.table.name：hbase表名称。

1.3.2 使用hive的HQL语句查询

1
2
1select *  from hivefromhbase;

2

1.3.3 Hive插入数据到Hbase表

1
2
3
4
5
6
7
1insert into table hivefromhbase

2select '004' as rowkey,

3map('name','caocao') as f1,

4map('age','34') as f2,

5map('sex','male') as f3

6from person;

7

1.3.4 Hbase中查询数据

1
2
1scan 'hbase_test'

2

2. Hive表映射到Hbase中

2.1 在Hive中创建名称为hive_test的表

1
2
3
4
5
6
7
8
1create table hive_test(

2id string,

3name string,

4age int,

5)STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'

6WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,f1:name,f2:age,f3:address")

7TBLPROPERTIES ("hbase.table.name" = "hbasefromhive");

8

2.2 在Hbase中查看是否有hbasefromhive表生成

1
2
1list

2

2.3 查看hbase的表结构

1
2
1desc 'hbasefromhive'

2

2.4 将数据插入Hive的hive_test中

1
2
1load data local inpath '/home/hadoop/student.txt' overwrite into table person;

2

2.5 查看Hive的hive_test表信息

1
2
1select *  from hive_test;

2

2.6 查看Hbase中的表信息

1
2
1scan 'hbasefromhive'

2