当前位置： 首页 >> HBase >> HBased对接Hive

---

HBased对接Hive

2021-12-25 13:47:44 星期六  阅读：1043

---

因为Hive要读取HBase数据，其实是作为HBase的一个客户端去读取的，而HBase的客户端需要知道ZK链接才能连接。 所以需要在Hive的配置文件hive-site.xml里添加zk信息 ```xml <property> <name>hive.zookeeper.quorum</name> <value>zkhost1,zkhost2,zkhost3</value> <description>The list of ZooKeeper servers to talk to. This is only needed for read/write locks.</description> </property> <property> <name>hive.zookeeper.client.port</name> <value>2181</value> <description>The port of ZooKeeper servers to talk to. This is only needed for read/write locks.</description> </property> ``` #### 创建Hive内部表并关联HBase 如果需要关联表在Hive和HBase中都不存在，则可以使用Hive内部表的方式进行关联 ```sql #Hive建表语句 CREATE TABLE hive_hbase_emp_table( empno int, ename string, job string, mgr int, hiredate string, sal double, comm double, deptno int) STORED BY "org.apache.hadoop.hive.hbase.HBaseStorageHandler" WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,info:ename,info:job,info:mgr,info:hiredate,info:sal,info:co mm,info:deptno") TBLPROPERTIES ("hbase.table.name" = "hbase_emp_table"); ``` 创建完后，可以分别进入 Hive 和 HBase 查看，都生成了对应的表。 注意：如果创建失败，报如下错误 *FAILED: Execution Error, reutrn code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. org.apache.hadoop.hbase.HTableDescriptor.addFamily* 可能原因是HBase版本与Hive版本不兼容，需要重新编译Hive自带的Jar包：hive-hbase-handler-1.2.2.jar。 ##### 往Hive表里插入数据 注意：不能使用load的方式往表里插入数据。因为load是直接将orc或者text文件放到hdfs目录下，而hbase能识别的文件格式是HFile。所以只能使用insert的方式往hive表里插入数据。插入的数据不是放到hive数仓目录下，而是存储到了hbase的region下。 `INSERT INTO hive_hbase_emp_table select * from emp;` #### 创建Hive外部表并关联HBase hbase已经存在表，且已经有历史数据。hive需要关联hbase表时，必须是hive外部表才可以。 ``` CREATE EXTERNAL TABLE relevance_hbase_emp( empno int, ename string, job string, mgr int, hiredate string, sal double, comm double, deptno int) STORED BY "org.apache.hadoop.hive.hbase.HBaseStorageHandler" WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,info:ename,info:job,info:mgr,info:hiredate,info:sal,info:comm,info:deptno") TBLPROPERTIES ("hbase.table.name" = "hbase_emp_table"); ```