青训营笔记

性能优化及自动内存管理 分析工具——pprof:采样原理、如何定位性能问题等等 业务优化 基础库优化 Go语言优化 性能 性能优化是什么? 提升软件系统处理能力，减少不必要的消耗，充分发掘计算机算力

「分布式理论 - 现代架构基石」第五届字节跳动青训营 - 后端专场 常见的分布式 分布式存储 Google File System ( GFS ) : google分布式文件系统 Ceph :统一的分

01.定义 什么是可视化/ What is Visualization Visualization is any technique for creating images, diagrams, or

1.为什么做行为数据分析 1.1为什么要做用户数据分析 在企业竞争越来越激烈，获客成本越来越高的背景下，如何高效地理解用户需求和精细化运营是当前企业竞争的关键，而用户数据分析正是我们保持此竞争力的重要

01.Kubernetes简介 什么是容器 为什么要Kubernetes ? 应用数量巨大怎么办? 如何自动部署? 如何编排? 出了问题如何恢复? Kubernetes是什么? 特点:便携，可扩展，开

01.YARN概述 初识调度系统–场景导入 学校为改善学生生活新建了一所美食餐厅，餐厅座位有限且只能堂食; 各学院需缴纳一定管理费用后学生才能在该餐厅用餐，缴纳费用与分配的座位数成正比; 因餐厅物美价

01.分布式系统 分布式系统面临的挑战 数据规模越来越大 服务的可用性要求越来越高 快速迭代的业务要求系统足够易用 理想中的分布式系统 高性能:可拓展、低时延、高吞吐 正确:一致性、易于理解 可靠:容

01LSMT与存储引擎介绍 LSMT的历史 LSMT是 Log-Structured Merge-Tree的缩写，由Patrick O 'Neil etc.在1996年的论文，The Log-Stru

01.列存vs.行存 数据格式层概述 计算层:各种计算引擎 存储层:承载数据的持久化存储 数据格式层:定义了存储层文件内部的组织格式，计算引擎通过格式层的支持来读写文件 分层视角下的数据形态 存储层:

「流计算中的 Window 计算」 收获 了解实时计算和批式计算的本质区别，以及实时计算所带来的新的机遇和挑战 了解实时计算中的核心功能: Watermark机制、Window机制 了解3大基本窗口类

这是我参与「第四届青训营」笔记创作活动的的第1天 大数据体系 大数据体系和SQL 简介 介绍大数据体系和SQL的处理流程，重点介绍SQL在分布式环境下的处理 One SQL rules big dat

01.消息队列概述 消息队列的应用场景 MQ消息通道 异步解耦 削峰填谷 高可用 发布订阅 EventBridge事件总线 事件源:将云服务、自定义应用、Saas 应用等应用程序产生的事件消息发布到事

01.发展历史 数据湖发展阶段- Hadoop 数据湖最开始的概念一 分布式存储HDFS 使用目录来区分不同的数据集 好处: 同一公司/组织可以使用共享存储 数据访问方便，灵活性高 坏处: 没有记录文

HBase适用场景 1.1什么是HBase ? HBase是一个开源的NoSQL分布式数据库，是Apache软件基金会顶级项目之一。 参考Google BigTable的设计，对稀疏表提供更高的存储空

01.元数据高可用 服务高可用的需求 故障类型: 硬件故障 软件故障 人为故障 灾难:数据中心级别不可用 机房断电 机房空调停机 机房间网络故障、拥塞 故障不可避免，灾难时有发生。 而如果HDFS系统

01.概述 1.1大数据与OLAP的演进 什么是大数据? 大数据=大规模的数据量? 关于大数据这里我们参考马丁·希尔伯特的总结:大数据其实是在2000年后，因为信息化的快速发展。信息交换、信息存储、信

「大数据 Shuffle 原理与实践」 01.Shuffle概述 MapReduce概述 2004年谷歌发布了《MapReduce:Simplified Data Processing on Larg

「Spark 原理与实践」第四届字节跳动青训营 - 大数据专场 01.大数据处理引擎 Spark介绍 大数据处理技术栈 开源大数据处理引擎 什么是 Spark? Spark版本演进 Spark生态&特