在 Hive 中高效构建、管理和查询数据仓库，核心在于精准运用表类型（内部/外部）与分区策略（静态/动态/多重）。这不仅决定数据的生命周期归属，更是优化海量数据查询性能的关键手段。
一、表的身份权责：内部表 vs 外部表
内部表
定义：Hive 默认。Hive 同时管理元数据和 HDFS 数据（通常在仓库目录创建专属子目录）。
数据控制：Hive 拥有并控制数据完整生命周期。
生命周期：DROP TABLE 会删除元数据和 HDFS 数据。
适用：临时表、中间结果，或完全由 Hive 控制的数据。
代码：创建内部表
CREATE TABLE clicks_internal (
session_id STRING,
click_url STRING
)
COMMENT '内部表，数据由Hive管理';
外部表
定义：需显式用 EXTERNAL，必须用 LOCATION 指定 HDFS 路径。Hive 仅管理元数据。
数据控制：Hive 不拥有数据，数据保留在 LOCATION 原始位置。
生命周期：DROP TABLE 仅删元数据，HDFS 数据保留。
适用：管理已存在数据、需共享数据、防误删关键数据。
代码：创建外部表
CREATE EXTERNAL TABLE impressions_external (
ad_id STRING,
user_id STRING
) COMMENT '外部表，数据独立于Hive'
LOCATION '/data/raw/impressions';
关键操作：若手动在外部表 LOCATION 路径下增删分区目录，需执行 MSCK REPAIR TABLE table_name; 同步元数据。
代码：修复外部表分区
MSCK REPAIR TABLE impressions_external;
核心对比：DROP TABLE 是否删除 HDFS 数据；Hive 是否拥有数据。
二、查询加速核心：分区表及其数据加载
分区通过分区键将大表数据物理划分到 HDFS 不同子目录，实现查询剪枝，从而极大提升性能。
创建分区表
分区键不是表中实际存储的列，但在使用时表现为普通列。
支持多重分区，可以形成层级目录结构。
代码：创建单分区表
CREATE TABLE daily_activity (
user_id BIGINT,
type STRING
)
PARTITIONED BY (dt DATE);
代码：创建多重分区表
CREATE TABLE page_views (
user_id BIGINT,
page_url STRING
)
PARTITIONED BY (view_date DATE, country STRING)
STORED AS ORC;
数据加载到分区表
关键点在于必须确保数据被放入正确的分区目录。Hive 不推荐直接使用 hadoop fs -put 将数据写入分区目录，因为这样不会更新元数据，除非后续执行 MSCK REPAIR 或 ALTER TABLE ADD PARTITION。
静态分区加载
机制：在加载命令中明确指定目标分区的所有键值，Hive 能准确知道数据的目标位置。
方式一：LOAD DATA
适用于将已经准备好的文件加载到指定分区。
LOCAL 表示文件在本地机器；省略表示文件在 HDFS。
OVERWRITE 表示覆盖原数据；省略表示追加。
代码：本地加载
LOAD DATA LOCAL INPATH '/path/to/local/activity_20231103.txt'
OVERWRITE INTO TABLE daily_activity
PARTITION (dt='2023-11-03');
代码：HDFS 加载
LOAD DATA INPATH '/user/data/views_us_20231103'
INTO TABLE page_views
PARTITION (view_date='2023-11-03', country='US');
方式二：INSERT OVERWRITE / INSERT INTO
用于从查询结果写入指定分区。
代码：
INSERT OVERWRITE TABLE page_views
PARTITION (view_date='2023-11-03', country='CA')
SELECT user_id, page_url
FROM source_views
WHERE event_date = '2023-11-03' AND user_country = 'CA';
特点：控制精确，适用于分区值已知的情况，但分区组合多时语句会变复杂。
动态分区加载
机制：仅适用于 INSERT ... SELECT。不指定分区值，由 Hive 根据查询结果自动生成分区。
核心配置：
SET hive.exec.dynamic.partition=true;
SET hive.exec.dynamic.partition.mode=nonstrict;
注意：SELECT 语句中最后几列必须与分区字段顺序一致。
代码：单分区动态加载
SET hive.exec.dynamic.partition.mode=nonstrict;
INSERT OVERWRITE TABLE daily_activity
PARTITION (dt)
SELECT user_id, type, event_date
FROM source_table;
代码：多分区动态加载
SET hive.exec.dynamic.partition.mode=nonstrict;
INSERT OVERWRITE TABLE page_views
PARTITION (view_date, country)
SELECT user_id, page_url, event_date, user_country
FROM source_views;
代码：混合分区
INSERT OVERWRITE TABLE page_views
PARTITION (view_date='2023-11-03', country)
SELECT user_id, page_url, user_country
FROM source_views
WHERE event_date = '2023-11-03';
特点：自动化程度高，适合批量处理，但需注意避免生成过多小分区。
手动管理分区
可以直接对分区元数据进行操作。
代码：
ALTER TABLE page_views ADD IF NOT EXISTS PARTITION (view_date='2023-11-04', country='CA');
ALTER TABLE page_views DROP IF EXISTS PARTITION (view_date='2023-11-01', country='UK');
ALTER TABLE page_views PARTITION (view_date='2023-11-03', country='US') SET LOCATION 'hdfs:///new/path/...';
三、实战演练与深度思考
练习题 1
/data/shared_logs 有需长期保留、多部门共享的日志，应创建哪种表？如何同步分区？
练习题 2
创建分区外部表并写动态分区导入语句。
练习题 3
静态分区与动态分区值是否必须一致？
练习题 4
未使用分区字段的查询是否能加速？
练习题 5
strict 与 nonstrict 区别？
练习题 6
如何将内部表转为外部表？
练习题 7
查看建表语句。
练习题 8
查看某分区。
练习题 9
批量添加分区。
练习题 10
删除多个分区。
练习题 11
统计查询。
练习题 12
查看分区字段。
练习题 13
导出数据。
练习题 14
写动态分区 SQL。
练习题 15
创建 Map 类型表。
答案解析
答案 1
外部表。执行 MSCK REPAIR TABLE 同步分区。
答案 2
CREATE EXTERNAL TABLE orders_partitioned (
order_id BIGINT,
user_id BIGINT,
order_amount DECIMAL(18,2))
PARTITIONED BY (order_country STRING, order_date DATE)
STORED AS ORC
LOCATION '/data/orders_part';
SET hive.exec.dynamic.partition.mode=nonstrict;
INSERT OVERWRITE TABLE orders_partitioned
PARTITION (order_country, order_date)
SELECT order_id, user_id, order_amount, order_country, order_date
FROM orders_source;
答案 3
静态不必须一致；动态必须一致。
答案 4
不会。需用分桶优化。
答案 5
strict 防误操作；nonstrict 更灵活。
答案 6
ALTER TABLE prod_data SET TBLPROPERTIES('EXTERNAL'='TRUE');
答案 7
SHOW CREATE TABLE orders_partitioned;
答案 8
SHOW PARTITIONS orders_partitioned PARTITION(order_country='CA');
答案 9
需脚本循环添加。
答案 10
ALTER TABLE orders_partitioned DROP IF EXISTS PARTITION (order_country='JP', order_date='2023-06-18');
ALTER TABLE orders_partitioned DROP IF EXISTS PARTITION (order_country='KR', order_date='2023-06-19');
答案 11
SELECT COUNT(*) FROM orders_partitioned
WHERE order_country IN ('DE', 'FR')
AND order_date BETWEEN '2023-07-01' AND '2023-09-30';
答案 12
DESCRIBE FORMATTED page_views;
答案 13
INSERT OVERWRITE LOCAL DIRECTORY '/tmp/exported_data'
ROW FORMAT DELIMITED FIELDS TERMINATED BY '|'
SELECT user_id, page_url, view_time
FROM page_views
WHERE view_date='2023-11-03' AND country='US';
答案 14
SET hive.exec.dynamic.partition.mode=nonstrict;
INSERT OVERWRITE TABLE daily_activity
PARTITION (dt, type)
SELECT user_id, event_date, activity_type
FROM source_table;
答案 15
CREATE TABLE user_profiles (
user_id INT,
profile MAP<STRING,STRING>
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
COLLECTION ITEMS TERMINATED BY '#'
MAP KEYS TERMINATED BY ':';
结语
精准运用 Hive 的表类型与分区策略，是数据仓库设计与性能优化的核心。合理设计能够显著提升查询效率与数据管理能力。
