什么是 kafka segment 为了更加方便管理 kafka Replication 中的数据，kafka 将一个 Replication 拆分成多个大小相等的数据段，这每一小段数据被 kafka

一. 问题 while 的无限循环是否会导致 CPU 使用率飙升？ 频繁的 Young GC 是否会导致 CPU 使用率飙升？ 有大量线程的应用程序的 CPU 使用率高吗？ CPU 使用率高的应用程序

前言在上一篇文章你公司到底需不需要引入实时计算引擎？中我讲解了日常中常见的实时需求，然后分析了这些需求的实现方式，接着对比了实时计算和离线计算。随着这些年大数据的飞速发展，也出现了不少计算的框架（Ha

上一篇权当吹水了，从这篇开始进入正题。 RDD（Resilient Distributed Dataset）叫做 弹性分布式数据集 ，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合. 一个分区（Partition）列表，组成了该RDD的数据…

Spark 是 UC Berkeley AMP lab 所开源的类 Hadoop MapReduce 的通用并行框架，是专为大规模数据处理而设计的快速通用的大数据处理引擎及轻量级的大数据处理统一平台。 当我们在谈 Spark 的时候可能是指一个 Spark 应用程序，替代 Ma…

我们在写Spark程序的时候免不了要对我们的代码进行debug，在代码当中打上断点来查看程序执行过程中各个变量的变化情况。我一般使用Intellij IDEA来写Spark程序，可以直接在其中以local的方式运行Spark程序，也可以在其中打上断点进行调试，但这样做有一些问题…