madidea

这是我参与「第四届青训营 」笔记创作活动的第16天 Kubernetes简介 为什么需要 ？ 容器相比于传统的虚拟化技术，更轻量，更敏捷，更易于管理，运维成本更低； 如果容...

这是我参与「第四届青训营 」笔记创作活动的第15天 Yarn概述 调度系统解决的问题 用有限资源解决有限资源无法满足的需求时就需要调度; 调度系统主要解决资源请求和可用资源...

这是我参与「第四届青训营 」笔记创作活动的第14天 分布式系统 分布式系统面临的挑战 数据规模越来越大 服务的可用性要求越来越高 快速迭代的业务要求系统足够易用 远程过程调...

这是我参与「第四届青训营 」笔记创作活动的第13天 LSMT历史&是什么 Log-Structured Merge-Tree的缩写，由Patrick O ‘Neil etc...

这是我参与「第四届青训营 」笔记创作活动的第12天 列式存储和行式存储 数据格式层概述 计算层：各种计算引擎 存储层：承载数据持久化存储 数据格式层：定义了存储层内部的组织...

这是我参与「第四届青训营 」笔记创作活动的第11天 架构 Kafka Kafka架构由broker和zookeeper组成： Pulsar Pulsar的架构如下： 不同：...

这是我参与「第四届青训营 」笔记创作活动的第10天 发展历史 Hadoop 数据湖最开始的概念——分布式存储HDFS使用目录来区分不同的数据集。 好处: 同一公司/组织可以...

这是我参与「第四届青训营 」笔记创作活动的第9天 一、HBase适用场景 HBase概述 HBase是一个开源的NoSQL 分布式数据库，是Apache软件基金会顶级项目之...

这是我参与「第四届青训营 」笔记创作活动的第8天 元数据高可用 高可用：系统在困境（adversity，比如硬件故障、软件故障、人为错误）中仍可正常工作（正确完成功能，并能...

这是我参与「第四届青训营 」笔记创作活动的第7天 分布式文件系统典型代表HDFS 在Hadoop中，HDFS是存储层，YARN是调度层，MapReduce是应用层 HDFS...

这是我参与「第四届青训营 」笔记创作活动的第6天 概述 大数据与OLAP系统的演进 信息交换：通信和网络宽带的大幅增长 信息存储：计算机存储量的大幅增长 信息处理：整理、转...

这是我参与「第四届青训营 」笔记创作活动的第5天 Shuffle概述 什么是shuffle？ 在最初的大数据计算工具MR任务中的map与reduce间需要进行Shuffle...

这是我参与「第四届青训营 」笔记创作活动的第4天 大数据处理链路 数据源 -> 采集 -> 存储 -> 处理 -> 分析 -> 应用 Spark Spark 是一种与 Ha...

这是我参与「第四届青训营 」笔记创作活动的第3天 流式计算 实时计算的处理时间窗口：数据实时流动实时计算，窗口结束就提交数据。 处理时间：数据在流式计算系统中真正处理时所在...

这是我参与「第四届青训营 」笔记创作活动的第2天 Flink 计算架构发展历史：史前阶段~2006 (单机，传统数仓) →\rightarrow→ Hadoop (分布式，...

这是我参与「第四届青训营 」笔记创作活动的第1天 一、 大数据体系和SQL SQL的处理流程 Parser String -> AST (Abstruct Syntax T...

这是我参与「第三届青训营 -后端场」笔记创作活动的的第8篇笔记 二、项目介绍 我们小组本次青训营选题为搜索引擎项目， 详情可戳搜索引擎项目Github，构建了一个具备基础功...

这是我参与「第三届青训营 -后端场」笔记创作活动的的第7篇笔记 企业接入升级打怪之路 域名系统 host管理 example公司 主机表 Host->ip 映射 使用域名系...