用户7626844636170

这是我参与「第四届青训营 」笔记创作活动的的第8天 概述 大数据：大数据其实是在2000年后，因为信息化的快速发展。信息交换、信息存储、信息处理三个方面能力的大幅增长而产生的数据。 Hadoop：基于

这是我参与「第四届青训营 」笔记创作活动的的第7天 Shuffle概述 Map阶段：是在单机上进行的针对一小块数据的计算过程 Shuffle阶段：在Map阶段的基础上，进行数据移动，为后续的reduc

大数据处理引擎Spark介绍 生态&特点 统一引擎，支持多种分布式场景 多语言支持 可读写丰富数据源 丰富灵活的API/算子 支持K8S/YARN/Mesos资源调度 SparkCore 原理解析 R

这是我参与「第四届青训营 」笔记创作活动的的第5天 概念 流式计算与批式计算的对比 特性 批式计算 流式计算 数据存储 HDFS，Hive Kafka，Pulsar 数据时效性 天级别 分钟级别 准确

这是我参与「第四届青训营 」笔记创作活动的的第4天 数据流和动态表 传统SQL和流处理 特征 SQL 流处理 处理数据的有界性 处理的表是有界的 流是一个无限元组序列 处理数据的完整性 执行查询可以访

这是我参与「第四届青训营 」笔记创作活动的的第3天 Flink概述 发展 Hadoop(分布式) --> Spark(批处理，流处理) --> Flink(流计算，实时、更快，流批一体) 批式计算 离

这是我参与「第四届青训营 」笔记创作活动的的第2天 前言：跟着老师在课程上的讲解，把知识点和老师讲解的知识做了总结和归纳，以及一些自己对于老师话语的理解都整在了笔记里。 SQL的处理流程 Parser