青训营笔记（ByteDance）

这是我参与「第四届青训营 」笔记创作活动的第 16 天! 关于 LSMT&存储引擎 LSMT LSMT 是 Log-Structured Merge-Tree 的缩写，由 Patrick O ‘Nei

这是我参与「第四届青训营 」笔记创作活动的第 15 天! Parquet 原理详解 1、Parquet 简介 http://parquet.apache.org 大数据分析领域使用最广的列存格式 Sp

这是我参与「第四届青训营 」笔记创作活动的第 14 天! Pulsar 详解 1、Pulsar 架构 （1）Pulsar Proxy Pulsar 客户端连接集群的两种方式 Pulsar Client

这是我参与「第四届青训营 」笔记创作活动的第 13 天! 设计一个简单的数据湖 1、文件结构 存入数据，按照 date 分区，schema： 每天都会写入新数据 需要使用列存格式 写入数据时 按照每条

这是我参与「第四届青训营 」笔记创作活动的第 12 天! HBase 架构设计 架构设计 主要组件包括： HMaster：元数据管理、集群调度、保活 RegionServer：提供数据读写服务、每个实

这是我参与「第四届青训营 」笔记创作活动的第 11 天! 元数据高可用 （1）高可用的需求 1.服务高可用的需求 故障类型 硬件故障 软件故障 人为故障 灾难：数据中心级别不可用 机房断电 机房空调停

这是我参与「第四届青训营 」笔记创作活动的第 10天! 1、HDFS 架构原理 （1）关于 FDFS HDFS（Hadoop Distributed File System）即分布式文件系统 Hado

这是我参与「第四届青训营 」笔记创作活动的第 9 天! 概述 Presto 设计思想： Presto 最初是由 Facebook 研发的构建于 Hadoop/HDFS 系统之上的 PB 级交互式分析引

这是我参与「第四届青训营 」笔记创作活动的第 8 天! 1、Shuffle 简述： （1）关于 MapReduce 2004 年谷歌发布了《MapReduce：Simplified Data Proc

这是我参与「第四届青训营 」笔记创作活动的第 7 天!。 1、Spark（大数据处理引擎）介绍 （1）常见的大数据处理链路 （2）关于Spark Apache Spark是一个多语言引擎，用于在单节点

这是我参与「第四届青训营 」笔记创作活动的第 6 天! 1、流计算概述 （1）处理时间窗口 实时计算：处理时间窗口 数据实时流动、计算，窗口结束直接发送结果，不需要同期调度任务。 （2）处理时间 VS

这是我参与「第四届青训营 」笔记创作活动的第 5 天! 1、数据流和动态表 （1）传统 SQL 和流处理 有界：数据在一定程度上固定 流：数据源源不断改变、增减 （2）数据流和动态表转换 （3）在流上

这是我参与「第四届青训营 」笔记创作活动的第 4 天! （1）诞生背景 - 大数据（Big Data）：指无法在一定时间内用常规软件工具对其进行获取、存储、管理和处理的海量数据集合。

这是我参与「第四届青训营 」笔记创作活动的的第 3 天! 数据库简介 数据库与数据库管理系统 数据库（DB——DataBase）是一个按数据结构来存储和管理数据的计算机软件系统。

这是我参与「第四届青训营 」笔记创作活动的第 2 天 ！ 0ne SQL rules big data all SQL较流行，因为语法简单方便高效，已经成为大数据处理事实的接口。

这是我参与「第四届青训营 」笔记创作活动的第 1 天! 大数据体系和SQL 生产系统中的大数据体系 基础技术 ——> (数据应用 数据组织集成 数据传输 数据采集) ——> 数据治理 如华为云MRS（