陈惜时

也许你还在工位上焦虑着人工智能会不会替代自己; 也许你还在为一眼看不到头的加班而苦恼; 也许你还在为夜晚拉长了的背影而感到孤独无助。 那么今天推荐的这个开源项目或许值得你一看。

Hive 一个常用的大数据组件，影响它的性能的从来都不是因为数据量过大的问题，而是数据倾斜，冗余，Job 和 IO 过多，MapReduce 分配不合理···等

Hive中如何处理JSON格式数据 Hive 处理json数据总体来说有三个办法： 使用内建的函数get_json_object、json_tuple 使用自定义的UDF(一进一出)，自定义UDTF(

一、概念 简介 Hive 中的表对应为HDFS上的指定目录，在查询数据时候，默认会对全表进行扫描，这样时间和性能的消耗都非常大。 分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是

本文主要围绕hive的DDL操作和DML操作进行讲解。主要包括以下几个方面： 比如按照name属性分为3个桶，就是对name属性值的hash值对3取摸，按照取模结果对数据分桶。 1、取样sampling更高效。没有分桶的话需要扫描整个数据集。 3. Hive数据导出 4. Hi…

本文主要围绕hive的高级操作进行讲解。主要包括以下几个方面。 1. Hive表的数据压缩 On a single core of a Core i7 processor in 64-bit mode, Snappy compresses at about 250 MB/sec…

Kafka、Flink和Druid一起使用时，可以创建一个实时数据架构，减少这些等待时间。在这篇文章中，我们将探讨如何利用Kafka、Flink、Druid实现广泛的实时数据系统架构。

成功上岸字节！分享一些 Idea！给你新的面试思路，助力金九银十斩获各路大厂Offer～ 面试 = 40% 八股 + 30% 算法题 + 20% 项目经验 + 10% Idea～

1. 什么是数据脱敏 1.1 数据脱敏的定义 数据脱敏百度百科中是这样定义的： 数据脱敏，指对某些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护。这样就可以在开发、测试和其它非生产环境