皮皮鲁的科技星球

Broadcast State是Flink 1.5引入的功能，本文将跟大家分享Broadcast State的潜在使用场景，并使用电商用户行为分析的例子来演示Broadca...

之前提到的一些算子和函数能够进行一些时间上的操作，但是不能获取算子当前的Processing Time或者是Watermark时间戳，调用起来简单但功能相对受限。如果想获取...

在Flink状态管理详解这篇文章中，我们介绍了Flink的状态都是基于本地的，而Flink又是一个部署在多节点的分布式引擎，分布式系统经常出现进程被杀、节点宕机或网络中断等...

与其宅在家里无聊，不如利用网络免费资源丰富一下自己的知识储备。这里我总结了一下大数据和AI相关领域的免费资源，这些书籍和资料都是我个人阅读过，一些阅读经验也和大家分享一下。...

有状态的计算是流处理框架要实现的重要功能，因为稍复杂的流处理场景都需要记录状态，然后在新流入数据的基础上不断更新状态。下面的几个场景都需要使用流处理的状态功能： 数据流中的...

Event Time语义下我们使用Watermark来判断数据是否迟到。一个迟到元素是指元素到达窗口算子时，该元素本该被分配到某个窗口，但由于延迟，窗口已经触发计算。目前F...

批处理经常要解决的问题是将两个数据源做关联Join操作。比如，很多手机APP都有一个用户数据源User，同时APP会记录用户的行为，我们称之为Behavior，两个表按照u...

我们经常需要在一个时间窗口维度上对数据进行聚合，窗口是流处理应用中经常需要解决的问题。Flink的窗口算子为我们提供了方便易用的API，我们可以将数据流切分成一个个窗口，对...

硬件层面：各种专用芯片开始提供算力支持，5G带来更多潜在应用。 软件层面：各巨头公司布局计算框架、云服务，为开发者提供更简单易用的基础服务。 技术之外：隐私问题和资本泡沫开...

在流处理中，时间是一个非常核心的概念，是整个系统的基石。比如，我们经常会遇到这样的需求：给定一个时间窗口，比如一个小时，统计时间窗口的内数据指标。那如何界定哪些数据将进入这...

总结下来不难发现，使用Flink的算子必须进行自定义，自定义时可以使用Lambda表达式，也可以继承并重写函数类。本文将带大家阅读一些Flink源码，并提供具体的算子使用例...

几乎所有的大数据框架都要面临分布式计算、数据传输和持久化问题。数据传输过程前后要进行数据的序列化和反序列化：序列化就是将一个内存对象转换成二进制串，形成网络传输或者持久化的...

Flink的Transformation转换主要包括四种：单数据流基本转换、基于Key的分组转换、多数据流转换和数据重分布转换。读者可以使用Flink Scala Shel...

Flink的Transformation转换主要包括四种：单数据流基本转换、基于Key的分组转换、多数据流转换和数据重分布转换。读者可以使用Flink Scala Shel...

Flink的Transformation转换主要包括四种：单数据流基本转换、基于Key的分组转换、多数据流转换和数据重分布转换。本文主要介绍基于Key的分组转换，关于时间和...

对软件命名并不是一件容易的事情，名字要朗朗上口，易于记忆，既不能天马行空，又要代表软件本身的功能和创新。本文将历数几款大数据框架及其创始背后的故事。 2004年，Apach...

本文将对Flink Transformation中各算子进行详细介绍，并使用大量例子展示具体使用方法。Transformation各算子可以对Flink数据流进行处理和转化...

本专栏之前的文章介绍了线性回归以及最小二乘法的数学推导过程。对于一组训练数据，使用线性回归建模，可以有不同的模型参数来描述数据，这时候可以用最小二乘法来选择最优参数来拟合训...

之前的文章《10行Flink WordCount程序背后的万字深度解析，读懂Flink原理和架构》使用WordCount展示了Flink程序的基本结构，本文将以股票价格来演...

本文将对Kafka做一个入门简介，并展示如何使用Kafka构建一个文本数据流管道，通过本文，读者可以了解一个流处理数据管道（Pipeline）的大致结构：数据生产者源源不断...