大数据

Hadoop压缩 压缩格式 算法 文件扩展名 是否可切分 DEFLATE DEFLATE .deflate 否 Gzip DEFLATE .gz 否 bzip2 bzip2 .bz2 是 LZO LZ

分区表提供一个隔离数据和优化查询的便利方式。不过，并非所有的数据集都可形成合理的分区。对于一张表或者分区，Hive 可以进一步组织成桶。

Hive中的分区就是把一张大表的数据按照业务需要分散存储到多个目录，每个目录就称为该表的一个分区。在查询时通过where子句中的表达式选择查询所需要的分区，这样的查询效率会提高很多。

Flink 部署模式生产中推荐Application Mode模式，它为每一个提交的应用程序单独启动一个JobManager、main方法在JobManager上执行。