为什么要自定义函数 常见的自定义函数 如何编写UDF 案例 自定义函数，根据出生日期求年龄 导入依赖 编码实现 将项目打成jar包 上传到HDFS上 在Hive中添加jar并创建函数 案例演示

一.Hive架构 1）用户接口：Client CLI（command-line interface）、JDBC/ODBC(jdbc 访问 hive)、WEBUI（浏览器访问 hive） 2）元数据：M

Hive 一个常用的大数据组件，影响它的性能的从来都不是因为数据量过大的问题，而是数据倾斜，冗余，Job 和 IO 过多，MapReduce 分配不合理···等

在数据开发的过程中会引入各种质量、效率、安全等方面的问题，而数据治理就是要不断消除引入的这些问题，保障数据准确、全面和完整，为业务创造价值。

对用户表app_user_y中的user_id字段进行分组，然后按照create_time进行排序，执行完这个操作后对每一条数据进行顺序标号，从1开始递增，如果标号出现相同值时给不同的序号。 返回一个掩码版本的str，显示最后n个未掩码的字符(从Hive 2.1.0开始)。将大…

对于流行的分布式计算框架（如离线的MapReduce、流计算Storm、迭代内存计算Spark、流式计算Flink），“数据量大”从来都不是问题，因为理论上来说，都可以通过增加并发的节点数来解决。 但是如果数据倾斜或者分布不均匀了，那么就会是问题。此时不能简单地通过增加并发节点…

Hive 目前已经成为了数据仓库生态系统中的核心组件。它不仅仅是一个用于大数据分析和 ETL 的 SQL 引擎，同样也是一个数据管理平台，它可以用来发现，定义和演变数据。而 Flink 是当前最火的流式计算引擎，它可以在无界和有界数据流上进行状态计算。Flink 从 1.9 版…

本文将详细介绍利用 ES 与 Hive 直接的数据交互；通过 Hive 外部表的方式，可以快速将 ES 索引数据映射到 Hive 中，使用易于上手的 Hive SQL 实现对数据的进一步加工。 Hive 在 Hadoop 生态系统中扮演着数据仓库的角色，借助 Hive 可以方便…

通过阅读比较多的Hive调优材料，并根据自己的实践，总结Hive 调优如下，让Hive调优想法不再凌乱、碎片化，而是形成结构。 这个链接基于上面的链接做了自己的实践经验总结，纠正了上面那篇文章中一些因为版本太老导致的参数不一致的问题。 关于 group by 和 join 更详…