这是我参与「第四届青训营 」笔记创作活动的第14天。 大数据生态 Hive 元数据管理 Hudi Iceberg 等 狭义‘数据湖’ 所有的数据集作业可以简化为 从存储服务读取数据 计算引擎解析和计算

引言 在大数据处理中，日志数据的采集是数据分析的第一步。Apache Flume是一个分布式、可靠且可用的系统，用于有效地收集、聚合和移动大量日志数据到集中式数据存储。本文将详细介绍如何使用Flume

Hadoop解决大规模数据分布式计算的方案是MapReduce。MapReduce既是一个编程模型，又是一个计算框架。也就是说，开发人员必须基于MapReduce编程模型进行编程开发，然后将程序通过MapReduce计算框架分发到Hadoop集群中运行。我们先看一下作为编程模型…

这篇文章是我们的 Parquet 和 ClickHouse 博客系列的第二部分。在这篇文章中，我们将更详细地探讨 Parquet 格式，重点介绍使用 ClickHouse 读写文件时要考虑的关键细节。

LSM Tree原理讲解，面临的读放大、写放大等问题，以及相应的两种size-tiered和leveled压缩策略

对Yarn知识体系的全面总结，仅万字的Yarn架构介绍，加入个人理解更加通俗易懂，对于Hadoopd体系认知有非常大的帮助。

HBase（Hadoop Database）是一个高可靠、高性能、面向列、可伸缩的KV分布式数据库，利用HBase技术可在廉价PC上搭建起大规模结构化存储集群。 HBase参考Google的BigTable建模，使用类似GFS的HDFS作为底层文件存储系统，在其上可以运行Map…