数据学习从0到1 Apache Hive数据格式

87 阅读2分钟

开启掘金成长之旅!这是我参与「掘金日新计划 · 12 月更文挑战」的第24天 juejin.cn/post/716729…

数据类型

基本数据类型

Hive 支持关系型数据中大多数基本数据类型

和其他的SQL语言一样,这些都是保留字。需要注意的是所有的这些数据类型都是对Java中接口的实现,因此这些类型的具体行为细节和Java中对应的类型是完全一致的。例如,string类型实现的是Java中的String,float实现的是Java中的float,等等。

复杂数据类型

存储格式

Hive会为每个创建的数据库在HDFS上创建一个目录,该数据库的表会以子目录形式存储,表中的数据会以表目录下的文件形式存储。对于default数据库,默认的缺省数据库没有自己的目录,default数据库下的表默认存放在/user/hive/warehouse目录下。

  1. Textfile

  2. textfile为默认格式,存储方式为行存储。数据不做压缩,磁盘开销大,数据解析开销大。

  3. SequenceFile

  4. SequenceFile是Hadoop API提供的一种二进制文件支持,其具有使用方便、可分割、可压缩的特点。

  5. SequenceFile支持三种压缩选择:NONE, RECORD, BLOCK。 Record压缩率低,一般建议使用BLOCK压缩。

  6. RCFile

  7. 一种行列存储相结合的存储方式。

  8. ORCFile

  9. 数据按照行分块,每个块按照列存储,其中每个块都存储有一个索引。

  10. hive给出的新格式,属于RCFILE的升级版,性能有大幅度提升,而且数据可以压缩存储,压缩快 快速列存取。

  11. 新版本ORCFile在开启事务的前提下,可以对表进行update操作。

  12. Parquet

  13. impala官方推荐的列式存储格式。

  14. 查询性能好,压缩程度高。

  15. 可以减少大量的表扫描和反序列化的时间。

数据格式

当数据存储在文本文件中,必须按照一定格式区别行和列,并且在Hive中指明这些区分符。Hive默认使用了几个平时很少出现的字符,这些字符一般不会作为内容出现在记录中。

Hive默认的行和列分隔符如下表所示。