为了演示查询操作，这里需要预先创建三张表，并加载测试数据。 Hive 支持使用 DISTINCT 关键字去重。 分区查询 (Partition Based Queries)，可以指定某个分区或者分区范围。 Hive 支持使用 GROUP BY 进行分组聚合操作。 hive.ma…

加载的目标可以是表或分区。如果是分区表，则必须指定加载数据的分区； 加载文件的格式必须与建表时使用 STORED AS 指定的存储格式相同。 Hive 0.13.0 开始，建表时可以通过使用 TBLPROPERTIES（“immutable”=“true”）来创建不可变表 (i…

Hive 中的表对应为 HDFS 上的指定目录，在查询数据时候，默认会对全表进行扫描，这样时间和性能的消耗都非常大。 分区为 HDFS 上表目录的子目录，数据按照分区存储在子目录中。如果查询的 where 字句的中包含分区条件，则直接从该分区去查找，而不是扫描整个表目录，合理的…

直接使用 Hive 命令，不加任何参数，即可进入交互式命令行。 在不进入交互式命令行的情况下，可以使用 hive -e 执行 SQL 命令。 用于执行的 sql 脚本可以在本地文件系统，也可以在 HDFS 上。 可以使用 --hiveconf 设置 Hive 运行时的变量。 使…

本文正在参加「技术专题19期 漫谈数据库技术」活动 前言 作为数据分析师每个SQL数据库的函数以及使用技能操作都得点满，尤其是关于统计函数的使用方法。关于统计出数据的中位数，众数和分位数的方法必须掌握

本文正在参加「技术专题19期 漫谈数据库技术」活动 前言 工欲善其事必先利其器，首先要了解HiveSQL的编译语法的流程，还是需要懂得HiveSQL的执行流程以及编译规则。曾经在Hive数仓搭建的时候

本文正在参加「技术专题19期 漫谈数据库技术」活动 前言 JSON文件存储格式十分常见，在各个数据库中以及业务场景都有关于该文件的处理方式。但是有时候处理JSON文件在不同的数据库处理方法也不同，掌握

为了演示查询操作，这里需要预先创建三张表，并加载测试数据。 Hive 支持使用 DISTINCT 关键字去重。 分区查询 (Partition Based Queries)，可以指定某个分区或者分区范围。 Hive 支持使用 GROUP BY 进行分组聚合操作。 hive.ma…

加载的目标可以是表或分区。如果是分区表，则必须指定加载数据的分区； 加载文件的格式必须与建表时使用 STORED AS 指定的存储格式相同。 Hive 0.13.0 开始，建表时可以通过使用 TBLPROPERTIES（“immutable”=“true”）来创建不可变表 (i…