Hive支持的数据格式主要有：TEXTFILE 、SEQUENCEFILE、ORC、PARQUET。
1、行式存储和列式存储
左边图为逻辑表，右边第一个为行式存储，第二个为列式存储。
- 1、行式存储的特点 查询满足条件的一整行数据的时候，列式存储则需要去每个聚集的字段找到对应的每个列的值，行存储只需要找到其中一个值，其余的值都在相邻地方，所以此时存储查询的速度更快
优点：数据被保存在一起，insert/update更加方便
缺点：查询时即使只涉及某几列，但整张表的数据都会被读取到
- 2、列式存储的特点 因为每个字段的数据聚集存储，在查询只需要少数几个字段的时候，能大大减少读取的数据量，每个字段的数据类型一定是相同的，列式存储可以针对性的设计更好的压缩算法。
举例：一张学生表(student)中有id、name、age、gender、address、phone等多个字段，如果该表是列式存储并且需要求id，name的所有值，我们的SQL可以这样写：
select id , name from student;
如果是行式存储，则会读取整张表
如果是列式存储，则只会读取id、name的值，从而避免全局扫描，减少读取的数据量，加快执行效率
TEXTFILE 和 SEQUENCEFILE 的存储格式都是基于行存储的
ORC 和 PARQUET 是基于列式存储的
2、TEXTFILE格式
默认格式，数据不做压缩，磁盘开销大，数据解析开销大，可结合Gzip、Bizp2使用，但使用Gzip格式，hive不会对数据进行切分，从而无法对数据进行并行操作
3、ORC格式
Orc (Optimized Row Columnar)是 Hive 0.11 版里引入的新的存储格式。
如下图所示可以看到每个Orc文件由多个或1个stripe组成，每个stripe250M大小，这个stripe实际相当于RowGroup概念，不过由大小4MB->250MB,这样应该能提升顺序读的吞吐率。每个stripe有三部分组成，分别是Index Data，Row Data，Stripe Footer；
- Index Data：一个轻量级的index，默认是每隔1W行做一个索引。这里的索引应该只是记录某行的各字段在Row Data的offset偏移量
- Row Data：存的是具体的数据，先取部分行，然后对这些行按列进行存储。对每个列进行了编码，分成多个Stream来存储。
- Stripe Footer：存的是各个Stream的类型，长度等信息。
每个文件有一个File Footer，这里面存的是每个Stripe的行数，每个Column的数据类型信息等；每个文件的尾部都是一个PostScript，这里面记录了整个文件的压缩类型以及FileFooter的长度信息等。在读取文件时，会seek到文件的尾部读读 PostScript，从里面解析到 File Footer长度，再读 FileFooter，从里面解析到各个 Stripe 信息，再读各个 Stripe，即从后往前读。
4、Parquet格式
Parquet文件是以二进制方式存储的，所以是不可以直接读取的，文件中包括该文件的数据和元数据，因此Parquet格式文件是自解析的
通常情况下，在存储Parquet数据的时候会按照Block大小设置行组的大小，由于一般情况下每一个Mapper任务处理数据的最小单位是一个Block,这样可以把每一个行组由一个Mapper任务处理，增大任务执行并行度。 Parquet文件的格式如下图所示：
5、文件存储格式对比测试
从存储文件的压缩比和查询速度两个方向去对比
注意：一般文本文件都是行式存储格式，往列式存储表加载数据时，不能使用Load Data去加载，会报格式不匹配错误，要使用insert into加载
5.1、存储文件的压缩比测试：
1）、通过Sheel脚本编写测试数据（大约400M）
#!/bin/bash
for((i=0;i<20000000;i++))
do
str=',name';
name=${i}${str}${i}
echo $name>> data.txt
done
2）、TextFile
- 1、创建表
create table log_text (
id int,
name string
)
row format delimited fields terminated by ','
stored as textfile ;
- 2、向表中加载数据
load data local inpath '/home/data.txt' into table log_text ;
- 3、查看表中数据大小
3）、Orc
- 1、创建表
create table log_orc (
id int,
name string
)
row format delimited fields terminated by ','
stored as orc ;
- 2、向表中加载数据
insert into log_orc select * from log_text;
- 3、查看表中数据大小
4）、Parquet
- 1、创建表
create table log_parquet (
id int,
name string
)
row format delimited fields terminated by ','
stored as parquet;
- 2、向表中加载数据
insert into log_parquet select * from log_text;
- 3、查看表中数据大小
5）、总结存储文件的压缩性能比较：
ORC（45.2M） > Parquet（370.9M） > TextFile（398.4M）
