青训营第四期 - 大数据

一、HBase 定义 HBase 基于 HDFS 实现存储计算分离架构的分布式表格存储服务，是一个 NoSQL 分布式数据库。 其采用存储计算分离架构， 存储层基于 HDFS 存储数据，提供容错机制和

概述流式计算跟批计算，以及实时数仓和离线数仓的区别；引出流式计算中的window计算定义以及挑战。 介绍实时计算中的Watermark概念，以及如何产生、传递，还有一些典型的生产实践中遇到的问题。

本节课程主要分为四个方面：数据流和动态表、Exactly-Once 和 Checkpoint、端到端 Exactly-Once 实现、Flink 案例讲解。

一、Filnk 概述 1. 背景 大数据：无法在一定时间内用常规软件工具对其进行获取、存储、管理和处理的数据集合。 特点：价值化、海量化、多样化、快速化 计算架构发展历史：史前阶段~2006 (单机，

【课程重点：常见的查询优化器】 本节课程主要分为 4 个方面： 大数据体系和 SQL； 常见的查询优化器； 查询优化器的社区开源实践； SQL 相关的前沿趋势。