青训营笔记
2022年字节跳动第四届青训营笔记，笔记记录了基本概念和框架，个人比较浅显的理解，希望后续可以结合具体的案例和代码深入学习。
18篇文章 · 1订阅
  • 数据中心/用户分析/可视化 | 青训营笔记
    这是我参与「第四届青训营」笔记创作活动的第18天。本文讲解： 实时数据中心建设思路与企业实践、用户行为数据分析理论与最佳实践、大数据可视化理论与案例分析三次课程笔记。
    笔记
  • 深入理解K8S资源管理和调度 | 青训营笔记
    这是我参与「第四届青训营」笔记创作活动的第17天。本文简单讲解k8s的概念、资源管理、调度流程和优化实践。学习的不深入，下去继续学习。
    笔记
  • 走进Yarn资源管理和调度 | 青训营笔记
    这是我参与「第四届青训营」笔记创作活动的第16天。主要对YARN核心模块ResourceManager和NodeManager讲解整体架构/主要职责/状态机管理等，讲解了重要机制和字节的公司实践。
    笔记
  • 浅谈分布式一致性协议 | 青训营笔记
    这是我参与「第四届青训营」笔记创作活动的第15天。文章大概讲解：了解了一致性的定义、了解什么是共识算法、Raft的基本工作原理、一致性协议的未来方向。对于Raft共识算法需要进一步理解。
    笔记
  • LSMT存诸引擎浅析 | 青训营笔记
    这是我参与「第四届青训营」笔记创作活动的第14天。今日学习LSMT这种存储引擎，比较抽象，很多没有听懂，下去需要进一步学习。
    笔记
  • Parquet与ORC的高性能列式存储 | 青训营笔记
    这是我参与「第四届青训营」笔记创作活动的第13天。讲解了列存行存基本概念。Parquet和ORC原理详解、布局，同时介绍AliORC的重点优化。实操课是简易列式存储（以列存格式写入数据并正确读出）。
    笔记
  • 从Kafka到Pulsar的数据流演进之路 | 青训营笔记
    这是我参与「第四届青训营」笔记创作活动的第12天。简单讲解消息队列概述，详细讲解Kafka（集群架构、集群扩缩容等），讲解Pulsar（集群架构、HA&集群扩缩容等），讲解周边和生态。
    笔记
  • 数据湖三剑客:Delta Lake、Hudi与lceberg详解 | 青训营笔记
    这是我参与「第四届青训营」笔记创作活动的第11天。自己掌握的知识不足，很多内容没听明白。难点：ACID Transaction、Schema evolution、Time travel等高级功能。
    笔记
  • 深入浅出HBase实战 | 青训营笔记
    这是我参与「第四届青训营」笔记创作活动的第10天。文章介绍了HBase基本概念、整体架构和主要模块设计。后面两节比较难，对HBase的优化、水平扩展、负载均衡、故障恢复机制等讲解需要进一步自学。
    笔记
  • HDFS高可用与高扩展机制 | 青训营笔记
    这是我参与「第四届青训营」笔记创作活动的第9天。高可用确保了业务能稳定运行，HDFS上存储的数据随时可以访问。高扩展性确保了HDFS能存储的数据量能随着资源投入无限扩展下去，业务发展不被基础组件拖累。
    笔记
    HDFS高可用与高扩展机制 | 青训营笔记