青训营笔记

HDFS通过将文件分块来存储大文件，HDFS的组件有NameNode和DataNode，分别负责提供元数据和数据服务。 在读/写数据时，HDFS客户端需要先从NameNode上获取数据读取/写入的D

HBase是一个开源的NoSQL分布式数据库，参考Google BigTable的设计，对稀疏表提供更高的存储空间使用率和读写效率。

这是我参与「第四届青训营 」 笔记创作活动的第8天 发展阶段： hadoop：HDFS适用目录来区分不同的数据集 hive：对数据湖中的数据集进行定义 湖仓一体：结合数据湖和数据仓库的优势，将对于数据

这是我参与「第四届青训营 」 笔记创作活动的第11天 起源：BTree是1970年提出的，LSMT是1996年提出的。所以早起数据库都是B+Tree索引，新的数据库都是LSMT存储引擎，如 TiDB，

这是我参与「第三届青训营 -后端场」笔记创作活动的的第5篇笔记 1. 例子引入 抖音直播排行榜 某个时间段内，直播间礼物数Top10的房间获得奖励，每个房间展示排行榜 解决方案： 礼物数量存储在Red

这是我参与「第四届青训营 」笔记创作活动的第2天 1概述 实时计算：事件时间的窗口，数据实时进入到真实事件发生的窗口中进行计算，可以有效的处理 数据价值：实时性越高，数据价值越高 批式计算一般是T+1

1.概述 在04年谷歌发布的《MapReduce:Simplified Data Processing on Large Clusters》论文中，提出了MapReduce

HDFS原理与应用 这是我参与「第四届青训营 」笔记创作活动的第5天 1. HDFS基本介绍 windows单机文件系统——NTFS、FAT32、exFAT Linux单机文件系统——BTRFS，ZF

1. 消息队列概述 消息队列应用场景 MQ 消息通道 EventBridge 事件总线 Data Platform 数据流平台 常见消息队列，如:

这是我参与「第四届青训营 」 笔记创作活动的第14天 1 Kubernetes 简介： Kubernetes(k8s)是一个开源容器管理工具，负责容器部署，容器扩缩容以及负载平衡。k8s是自动化容器操

这是我参与「第三届青训营 -后端场」笔记创作活动的的第3篇笔记 01高质量编程 1.1简介 什么是高质量——编写的代码能够达到正确可靠，简洁清晰的目标可以称之为高质量代码 各种边界条件是否考虑完备 异

这是我参与「第四届青训营 」笔记创作活动的第1天 1.为什么要进行作业一致性保证 流处理通常也被称之为事件处理，简单来说是指持续不断地处理一系列无穷无尽地数据或事件地过程。比如说统计用户访问网址的数据

通过这节课程整体上了解企业数据平台架构，围绕一个数据中心案例，学习了实时数据生产和数据服务的实践方案。

这是我参与「第四届青训营 」 笔记创作活动的第16天 1. 定义 1.1 定义 可视化： 通过视觉元素（图像，图表，动画等等）来进行信息交流的方式 不仅局限于视觉，扩展到人类的整个感知系统。通过听觉、

这是我参与「第四届青训营 」 笔记创作活动的第10天 回顾 计算层：批式处理（Spark ），流式处理（Flink ），交互式分析（Presto） 存储层：HDFS，对象存储（公有云数据存储） 元数据

对 YARN 中两个核心模块 RM 和 NM进行详细阐释，介绍其整体架构、主要职责、核心功能；介绍 YARN 在调度公平性保障的重要调度策略：

这是我参与「第三届青训营 -后端场」笔记创作活动的的第4篇笔记 02性能调优 2.1性能调优简介 原则：数据而不是猜测，关注最大瓶颈而不是细节，不要过早也不要过度优化 2.2性能分析工具pprof实战

1. spark介绍 大数据处理技术栈 应用：BI报表/实时大盘/广告/推荐…… 计算：Spark/Fink 存储：MetaStore、HDFS，HBase

YARN 概述 从食堂分配座位场景导入，初识调度系统；介绍调度系统发展的背景、解决的问题、目标和范型；Hadoop YARN 的设计思想和整体架构

这是我参与「第三届青训营 -后端场」笔记创作活动的的第1篇笔记 go语言的特点 1.高性能，高并发 2.语法简单，学习路线平缓 3.丰富的标准库 4.完善的工具链 5.静态链接 6.快速编译 7.跨平