Hive 视图与物化视图(19)

·  阅读 1286

一、视图

1.1 简介

Hive 中的视图和 RDBMS 中视图的概念一致,都是一组数据的逻辑表示,本质上就是由一条 SELECT 语句查询的结果集组成的虚拟表,在数据库中,存放的只是视图的定义,而不存放视图包含的数据项,这些项目仍然存放在原来的基本表结构中。

视图的作用有:

  1. 可以简化数据查询语句(例如我们可以将一个复杂SQL中的一部分数据创建为一个视图)
  2. 通过引入视图可以提高数据的安全性( 可以被定义为多个表的连接,也可以被定义为只有部分列可见,也可为部分行可见,这里我就可以让敏感数据不可见)

视图是纯粹的逻辑对象,没有关联的存储 (Hive 3.0.0 引入的物化视图除外),当查询引用视图时,Hive 可以将视图的定义与查询结合起来,例如将查询中的过滤器推送到视图中。

1.2 创建视图

CREATE VIEW [IF NOT EXISTS] [db_name.]view_name   -- 视图名称
  [(column_name [COMMENT column_comment], ...) ]    --列名
  [COMMENT view_comment]  --视图注释
  [TBLPROPERTIES (property_name = property_value, ...)]  --额外信息
  AS SELECT ...;
复制代码
复制代码

在 Hive 中可以使用 CREATE VIEW 创建视图,如果已存在具有相同名称的表或视图,则会抛出异常,建议使用 IF NOT EXISTS 预做判断。在使用视图时候需要注意以下事项:

  • 视图是只读的,不能用作 LOAD / INSERT / ALTER 的目标;

  • 在创建视图时候视图就已经固定,对基表的后续更改(如添加列)将不会反映在视图;

  • 删除基表并不会删除视图,需要手动删除视图;

  • 视图可能包含 ORDER BY 和 LIMIT 子句。如果引用视图的查询语句也包含这类子句,其执行优先级低于视图对应字句。例如,视图 custom_view 指定 LIMIT 5,查询语句为 select * from custom_view LIMIT 10,此时结果最多返回 5 行。

  • 创建视图时,如果未提供列名,则将从 SELECT 语句中自动派生列名;

  • 创建视图时,如果 SELECT 语句中包含其他表达式,例如 x + y,则列名称将以_C0,_C1 等形式生成,有一点需要注意的是,C0 并不是从第一个表达式字段开始的,而是从第一个定义字段开始的

    CREATE VIEW  IF NOT EXISTS user_info_view AS SELECT user_id,cid,ckid,username,"man" ,1+2 from user_info;
    复制代码

    image-20201227204009933

select * from user_info_view;
复制代码

image-20201227204256751

1.3 查看视图

-- 查看所有视图: 没有单独查看视图列表的语句,只能使用 show tables
show tables;
-- 查看某个视图
desc view_name;
-- 查看某个视图详细信息
desc formatted view_name;
复制代码

1.4 删除视图

DROP VIEW [IF EXISTS] [db_name.]view_name;
复制代码

删除视图时,如果被删除的视图被其他视图所引用,这时候程序不会发出警告,但是引用该视图其他视图已经失效,需要进行重建或者删除。

1.5 修改视图

ALTER VIEW [db_name.]view_name AS select_statement;
复制代码

被更改的视图必须存在,且视图不能具有分区,如果视图具有分区,则修改失败。

1.6 修改视图属性

语法:

ALTER VIEW [db_name.]view_name SET TBLPROPERTIES table_properties;
 
table_properties:
  : (property_name = property_value, property_name = property_value, ...)
复制代码

示例:

ALTER VIEW user_info_view SET TBLPROPERTIES ('userName'='kingcall','date'='2020-12-27');
复制代码

image-20201227204651788

1.7 物化视图

普通视图它其实是一张虚表,在视图中不缓冲记录,也没有提高性能,而物化视图能够缓存数据,hive把物化视图当成一张"表",将数据缓存到orc文件中(可以配置),这里我们做个测试,前面在讲Hive streaming的时候创建的测试数据,如果有需要可以去看这一节

首先我查询一张普通的表select weekday,count(1) from ods.u_data_new group by weekday; 可以看到耗时16.524 seconds

image-20201227205200002

接下来我把它做成视图再查询一下create view week_pv as select weekday,count(1) from ods.u_data_new group by weekday;接下来我查询刚才的视图select * from week_pv;可以看到耗时几乎没变,甚至更长了15.611 seconds

其实这也可以立即,因为此时的SQL 其实等价于 select * from (select weekday,count(1) from ods.u_data_new group by weekday)tmp 的,所以时间长了可以理解

image-20201227205434059

接下来我们看一下物化视图create materialized view week_pv_materialized as select weekday,count(1) from ods.u_data_new group by weekday; 然后你就得到了下面的错误信息

FAILED: SemanticException org.apache.hadoop.hive.ql.parse.SemanticException: Automatic rewriting for materialized view cannot be enabled if the materialized view uses non-transactional tables (state=42000,code=40000)
复制代码

这里我们就不详细解释怎么去开启事务了,因为我们单独有一节就是将这个的,所以我们的重点还是回到物化视图上来。

既然如此我们就修改表的属性,使其支持事务 ALTER table ods.u_data_new SET TBLPROPERTIES ('transactional'='true'); 然后又报错了,说是存储类型必须是orc

Error: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. Unable to alter table. The table must be stored using an ACID compliant format (such as ORC): ods.u_data_new (state=08S01,code=1)
复制代码

好的那我们就修改存储类型为orc ALTER TABLE ods.u_data_new SET FILEFORMAT orc 然后再去修改表使其支持事务,发现都成功了

image-20201227211829587

接下来我们再去尝试创建物化视图,TMD 还是报错了

Error: Error while compiling statement: FAILED: SemanticException [Error 10265]: This command is not allowed on an ACID table ods.u_data_new with a non-ACID transaction manager. 
Failed command: create materialized view week_pv_materialized as select weekday,count(1) from ods.u_data_new group by weekday (state=42000,code=10265)
复制代码

说我们没有事务管理器,看起来我们开需要配置hive 让其开启事务管理,但是这个平时用的不是很多,所以我们只在当前会话里设置一下

SET hive.support.concurrency = true;
SET hive.enforce.bucketing = true;
SET hive.exec.dynamic.partition.mode = nonstrict;
SET hive.txn.manager = org.apache.hadoop.hive.ql.lockmgr.DbTxnManager;
SET hive.compactor.initiator.on = true;
SET hive.compactor.worker.threads = 1;
复制代码

这下应该差不多了吧,那我们再尝试创建一下我们的物化视图,发现还是报错了,这个时候我发现我们直接从select * from ods.u_data_new;这张表查询都报错了

Error: java.io.IOException: java.lang.RuntimeException: ORC split generation failed with exception: org.apache.orc.FileFormatException: Malformed ORC file hdfs://kingcall:9000/user/hive/warehouse/ods.db/u_data_new/000000_0. Invalid postscript. (state=,code=0)
复制代码

我还是老老实实创建一个事务表吧,不修改了,然后我们将数据导入到下面这张表里

CREATE TABLE `ods.u_data_new_transactional`(
   `userid` int,             
   `movieid` int,            
   `rating` int,             
   `weekday` int
)
stored as orc
tblproperties('transactional'='true');
复制代码

insert overwrite table ods.u_data_new_transactional select * from ods.u_data_new; 事务表创建好之后,我们再尝试创建一下物化视图create materialized view week_pv_materialized as select weekday,count(1) from ods.u_data_new_transactional group by weekday;

image-20201227215328547

一番折腾终于成功的创建了物化视图,我们发现整个创建过程非常慢,耗时 17.836 seconds,这是因为物化视图创建的时候,query的执行数据自动落地,"自动"也即在query的执行期间,任何用户对该物化视图是不可见的。

创建成功之后,我们去Hdfs 上看,我们发现物化视图是会真正创建表的

image-20201227215517268

接下来我们尝试从物化视图查询一下数据select * from week_pv_materialized;

image-20201227215730444

发现非常快,这就是物化视图中,物化一词的体现。

二. Hive视图应用场景

  • 当Hive中的查询变得很长或复杂时,通过视图将这个查询语句分割成多个小的、更可控的片段可以降低这种复杂度;
  • 当Hive中需要通过视图限制基于条件过滤的数据时;

三. 总结

  1. 物化视图是需要事务支持的
  2. 物化视图需要事务表上创建
分类:
后端
分类:
后端
收藏成功!
已添加到「」, 点击更改