大数据欧老师

原则一：避免创建重复的RDD 通常来说，我们在开发一个Spark作业时，首先是基于某个数据源（比如Hive表或HDFS文件）创建一个初始的RDD；接着对这个RDD执行某个算...

CMS 垃圾收集器是什么？ CMS（Concurrent Mark-Sweep，即并发标记清扫）是一种用于Java的垃圾收集技术，主要处理堆内存中老年代的垃圾回收。CMS垃...

在线分析处理(OLAP)在大数据环境中极为重要，它可以帮助我们快速查询和执行多维分析。今天，我们将讨论两种在OLAP场景中得到广泛应用的大数据技术—Druid和ClickH...

在处理流数据时，窗口运算是一项关键技能。特别是在Flink这种实时计算平台上，理解和合理使用窗口运算对于数据处理的效率和精准度至关重要。 1. Flink窗口运算的理解 F...

Flink提供了三种时间语义，以满足不同计算场景的需求：处理时间，事件时间和注入时间。打开查看常见面试题！...

Flink 常见面试题：JobManager 和 TaskManager，包括 JobManager高可用等。...

1. 数据处理模型：流处理、批处理和微批处理 我们首先来认识一些基本的数据处理模型。在大数据世界中，你会遇到流处理、批处理和微批处理这三种模型。 流处理是一种实时的数据处理...

一、Spark vs MapReduce 数据处理方式：Spark基于内存处理数据，可以将计算的中间结果保存到内存中反复利用，提高了处理效率。相比之下，MapReduce基...