青训营大数据专场笔记

数据湖三剑客：Delta Lake、Hudi与Iceberg详解 发展历史 发展阶段-Hadoop 数据湖最开始的概念-分布式存储HDFS 使用目录来区分不同数据集 好处： 同一公司使用共享储存. 数

大数据体系（分层式：由底层到高层） 基础设施 储存系统 资源调度 分析引擎 （批量分析｜实时分析｜交互分析） 权限管控 数据开发 业务应用 （BI报表｜数据挖掘｜营销分析｜精准推荐） 用SQL处理所有

Apache Calcite概括 One site fits all： 统一的SQL查询引擎 模块化、插件化、可靠稳定 支持异构数据模型：关系型、半结构化、流试、地理空间数据 内置CBO和RBO Ca

常见的查询优化器 查询优化器分类 *RBO（Rule-based Optimizer）：-根据关系代数等价语义，重写查询 -基于启发式规则 -会访问表的元信息（catalog），但是不会涉及具体表数据

这是我参与【第四届青训营】笔记创作活动的第四天 01Flink概述 Apache Flink 什么是大数据 大数据(big data)：指无法一定时间内用常规软件工具对其进行捕获、储存、管理和处理的数

这是我参与【第四届青训营】笔记创作活动的第六天 流式计算基本概念 1.1 流式计算vs批式计算 批式计算储存：HDFS；Hive 计算引擎：Hive；Spark；Flink 资源模型：定时调度：跑一个