写在前面：我是「云祁」，一枚热爱技术、会写诗的大数据开发猿。昵称来源于王安石诗中一句 [ 云之祁祁，或雨于渊 ] ，甚是喜欢。 写博客一方面是对自己学习的一点点总结及记录，另一方面则是希望能够帮助更多对大数据感兴趣的朋友。如果你也对 数据中台、数据建模、数据分析以及Flink/S...

一、概念 1、Hive Apache Hive 是一个分布式的容错数据仓库系统，可实现大规模分析和便于使用 SQL 读取、写入和管理驻留在分布式存储中的PB级数据。 Hive是建立在Hadoop之上的

Presto与Hive的区别 Apache Hive是一个运行在Apache Hadoop之上的数据仓库解决方案，允许你轻松地查询和分析大数据集。Hive使用类似SQL的方法查询数据，使得探索和分析大

hive设计之初，就被定位一款离线数仓产品，虽然Hortonworks喊出了Make Apache Hive 100x Faster的牛逼口号，也在上面做了大量的优化，然而性能提升依旧不大。 而随着OPPO数据量一步步的增多，动辄运行几个小时的hive再也满足不了交互查询的需求…

最近在做一个BI产品，遇到了一个需求，就是用户在做数据分析时，希望可以根据数据的时间维度字段来进行天、周、月、季度、年等聚合操作。 简单的描述一下。假设我们有如下一批明细数据 我们可以将时间通过函数转换到对应的每周的第一天、每月的第一天、每个季度的第一天，然后再根据这个时间进行…

默认行为是 RESTRICT，如果数据库中存在表则删除失败。要想删除库及其中的表，可以使用 CASCADE 级联删除。 通过指定一个或者多个列经常出现的值（严重偏斜），Hive 会自动将涉及到这些值的数据拆分为单独的文件。在查询时，如果涉及到倾斜值，它就直接从独立文件中获取数据…

Hive 是一个构建在 Hadoop 之上的数据仓库，它可以将结构化的数据文件映射成表，并提供类 SQL 查询功能，用于查询的 SQL 语句会被转化为 MapReduce 作业，然后提交到 Hadoop 上运行。 执行延迟高，不适合做数据的实时处理，但适合做海量数据的离线处理。…

后面更新文章都会列出历史文章目录，帮助大家回顾知识重点。2021大数据领域优质创作博客，带你从入门到精通，该博客每天更新，逐渐完善大数据各个知识体系的文章，帮助大家更高效学习。元数据服务(metastore）作用是：客户端连接metastore服务，metastore再去连接My...