青训营笔记

这是我参与「第四届青训营 」笔记创作活动的第19天 1. 定义 1.1 什么是可视化 可视化是用来创建图像、图表或动画以进行交互的任何技术. 1.2 什么是数据可视化 数据可视化相对于可视化只增加了数

这是我参与「第四届青训营 」笔记创作活动的第18天 1. 企业数据架构 计算/存储引擎：Flink、Spark、ClickHouse、Doris、Kafka、Hive... 数据集成：业务数据收集(数

这是我参与「第四届青训营 」笔记创作活动的第17天 1. Kubernetes 简介 Pod PVC/PV/StorageClass Deployment Statefulset Node 1.1 K

这是我参与「第四届青训营」笔记创作活动的的第16天 1 YARN概述 1.1 初识调度系统–场景导入 学校为改善学生生活新建了一所美食餐厅，餐厅座位有限且只能堂食; 各学院需缴纳一定管理费用后学生才能

这是我参与「第四届青训营」笔记创作活动的第15天 分布式系统 1 挑战 数据规模越来越大 服务的可用性要求越来越高 快速迭代的业务要求系统足够易用 2 理想分布式系统 高性能：可拓展、低时延、高吞吐

这是我参与「第四届青训营」笔记创作活动的的第14天 LSMT的历史 LSMT是 Log-Structured Merge-Tree的缩写，由Patrick O 'Neil etc.在1996年的论文，

这是我参与「第四届青训营 」笔记创作活动的第13天 回顾 计算层：批式处理（Spark ），流式处理（Flink ），交互式分析（Presto） 存储层：HDFS，对象存储（公有云数据存储） 元数据管

这是我参与「第四届青训营 」 笔记创作活动的第12天 主流的消息队列 RabbitMQ RocketMQ Kafka Pulsar 推出时间 2007 2012 2010 2016 使用语言 Erla

这是我参与「第四届青训营 」笔记创作活动的的第11天 数据湖 数据仓库的主流定义是位于多个数据库上的大容量存储库，它的作用在于存储大量的结构化数据，为管理分析和业务决策提供统一的数据支持，存取过程相对

这是我参与「第四届青训营」笔记创作活动的第10天 Hbase简介 HBase是一个开源的NoSQL分布式数据库 采用存储计算分离架构 存储层基于HDFS存储数据，提供容错机制和高可靠性 计算层提供灵活

这是我参与「第四届青训营」笔记创作活动的第9天 元数据服务高可用需求 故障类型：硬件/软件/人为 灾难：数据中心级别不可用，比如机房断电，机房空调停机，机房间网络故障或者拥塞 服务可用性的衡量指标 M

这是我参与「第四届青训营」笔记创作活动的的第8天 HDFS原理与应用 HDFS原理 HDFS（Hadoop Distributed File System）是一个分布式文件系统，是谷歌的GFS山寨版本

这是我参与「第四届青训营」笔记创作活动的的第7天。 大数据与OLAP的演变 信息交换：通信和网络宽带的大幅增长 信息存储：计算机存储量的大幅增长 信息处理：整理、转换、分析数据的能力大幅增长 Hado

这是我参与「第四届青训营」笔记创作活动的的第6天。 Shuffle概述 shuffle的作用就是把map阶段和reduce阶段连接起来，充当一个桥梁的作用。 shuffle只能产生[k,v]类型的Pa

这是我参与「第四届青训营」笔记创作活动的第5天。 大数据处理引擎Spark介绍 Spark生态和特点 统一引擎，支持多种分布式场景 多语言支持 可读写丰富数据源 丰富灵活的API算子 SparkCor

这是我参与「第四届青训营」笔记创作活动的第4天 一、概述 1. 流式计算vs批式计算 特性 批式计算 流式计算 数据存储 HDFS、Hive Kafka、Pulsar 数据时效性 天级别 分钟级别 准

这是我参与「第四届青训营 」笔记创作活动的第3天 大数据定义 大数据的定义：高速 (Velocity) 涌现的大量 (Volume) 的多样化 (Variety) 数据。这一定义还表明大数据具有 3V

流/批/OLAP 一体的 Flink 引擎介绍 | 青训营笔记 这是我参与「第四届青训营 」笔记创作活动的第2天 大数据 大数据(Big Data):指无法在一定时间内用常规软件工具对其进行获取、存储

SQL Optimizer 解析｜青训营笔记 这是我参与「第四届青训营」笔记创作活动的的第1天。 SQL Optimizer是什么 SQL Optimizer是SQL查询优化器 SQL 查询优化的目的