大数据技术栈

本文主要对apache hudi进行介绍，因为本人的工作集中于hudi的内核开发，因此将详细对hudi的原理和部分源码进行介绍。

WAL（Write-ahead logging预写日志）是数据库用于实现事务原子性和持久性的技术。 所有的修改在提交之前，系统将其先可靠的写入到 WAL 管理的 Log 文件中。

这里记录一下DDIA(数据密集型应用系统设计)这本书的笔记。希望自己可以不断学习，不断提高！！！！！

scala 基础语法 方法定义 闭包定义 闭包是一个函数，返回值依赖于声明在函数外部的一个或多个变量

随着信息时代的来临，数据量不断变大。对低成本规模化的需求促使人们开始使用分布式文件系统，Lambda 和 Kappa 架构简介

hadoop文件序列化和反序列化。对象序列化成的字节序列会包含对象的类型信息、对象的数据等，说白了就是包含了描述这个对象的所有信息，能根据这些信息“复刻”出一个和原来一模一样的对象。

相比传统的方式存储引擎,列式存储引擎具有更高的压缩比,更少的IO操作而备受青睐,尤其是在数据列column数很多,单词操作仅针对若干列的情景,列式存储引擎的性价比更高. https://blog.cs

星型模型、雪花模型和星座模型是数据仓库维度建模中重要的三种模型，接下来说一下它们的特点以及相互间的联系。 要了解这三种模型，首先要了解维度表和事实表，

本文将对redis中新出现的HyperLogLog这种数据结构进行介绍，主要介绍其出现场景，相关命令使用及数学原理。

BitMap是最常见的大数据算法。是简单而有效的算法。本文将对其实现的细节，redis中的bitmap和bitmap中常用的算法进行介绍。