林鹿白

这是我参与「第四届青训营 」笔记创作活动的第13天！ 一、分布式系统。 1.分布式系统面临的挑战： 数据规模越来越大 服务的可用性要求越来越高 快速迭代的业务要求系统足够易用 2.理想中的分布式系统：

这是我参与「第四届青训营 」笔记创作活动的第12天！ 一、LSMT与存储引擎介绍。 1.LSMT的历史。 LSMT是Log-Structured Merge-Tree 的缩写 ,由 Patrick O

这是我参与「第四届青训营 」笔记创作活动的第11天！ 一、概述。 1.流式计算VS批式计算： 2.批处理： 批处理模型典型的数仓架构为T+1架构，即数据计算时天级别的，当天只能看到前一天的计算结果 通

这是我参与「第四届青训营 」笔记创作活动的第10天！ 一、列存VS行存。 1.数据格式层概述： 计算层:各种计算引掌 存储层：承载数据的持久化存储 数据格式层：定义了存储层文件内部的组织格式计算引摩通

这是我参与「第四届青训营 」笔记创作活动的第9天！ 一、消息队列概述。 1.消息队列的应用场景： MQ 消息通道 EventBridge 时间总线 Data Platform 流数据平台 1.1MQ

这是我参与「第四届青训营 」笔记创作活动的第8天！ 一、发展历史。 1.数据湖发展阶段1-Hadoop： 数据湖最开始的概念——分布式存储HDFS 使用目录来区分不同的数据集 /douyin /202

这是我参与「第四届青训营 」笔记创作活动的第7天！ 一、HBase适用场景。 1.什么是Hbase？ HBase 一个开源的NOSQL分布式数据库，是Apache 软件基金会顶级项目之一。 参考Goo

这是我参与「第四届青训营 」笔记创作活动的第6天！ 一、元数据高可用。 1.服务高可用的需求： 故障类型： 硬件故障 软件故障 人为故障 灾难：数据中心级别不可用 机房断电 机房空调停机 机房间网络故

这是我参与「第四届青训营 」笔记创作活动的第5天！ 一、数据流和动态表。 1.随处可见的流式数据： 2.传统的SQL和流处理： 3.概述——数据流和动态表转换： 在流上定义表： 下图显示了单击事件流如