二粒砂

这是我参与「第四届青训营 」笔记创作活动的第13天 所有大数据作业简单来说都可以简化为 从存储服务读取数据 计算引擎解析和计算数据 结果呈现 “如何高效从存储读取所需的数据”是决定大数据计算作业性能的

这是我参与「第四届青训营 」笔记创作活动的第12天 1.消息队列概述 消息队列在各个领域扮演的角色 ①消息队列的应用场景 MQ消息通道 异步解耦 削峰填谷 发布订阅 高可用 EventBridge数据

这是我参与「第四届青训营 」笔记创作活动的第11天 1.发展历史 数据湖三阶段：Hadoop、Hive、湖仓一体 ①数据湖发展阶段1-Hadooop 数据湖最开始的概念——分布式存储HDFS 使用目录

这是我参与「第四届青训营 」笔记创作活动的第10天 1.适用场景 介绍HBase的设计理念、数据模型、适用场景、业界典型用例 ①什么是HBase HBase是一个开源的NoSQL分布式数据库，是Apa

这是我参与「第四届青训营 」笔记创作活动的第9天 一个“可以用”的系统和“好用”的系统，差距就是“高可用”和“高可扩展性” 1.元数据高可用 主备系统：基于日志、自动切换、实时热备 ①高可用的需求 服

这是我参与「第四届青训营 」笔记创作活动的第8天 1.HDFS基本介绍 HDFS：Hadoop Distributed File System spark不是Hadoop的子项目，但是其很多功能的实现

这是我参与「第四届青训营 」笔记创作活动的第7天 1.概述 ①大数据与OLAP系统的演进 大数据其实是在2000年后，因为信息化的快速发展，信息交换、信息存储、信息处理三个方面能力的大幅增长而产生的数

Hbase 是一个分布式的、多版本、面向列的开源 KV 数据库。运行在 HDFS 的基础上，支持 PB 级别、百万列的数据存储。作为性能如此强大的KV数据库，HBase的存储结构究竟是怎样的呢？面向列的存储结构究竟有什么样的不同之处呢？接下来会详细讲解这部分。 为了清晰地表述这…

这是我参与「第四届青训营 」笔记创作活动的第6天 1.Shuffle概述 Shuffle是什么，为什么需要Shuffle，Shuffle的基本过程是怎么样的 ①MapReduce概述 在开源实现的Ma