最近没什么事干就开始整理一下以前用过的技术，打发时间。 我之前基于Flink的使用主要也是用于实时处理，离线基本使用spark,这里可以简单了解一下Flink 与 Spark 简要对比，简单来讲就是实时处理方面Flink更好，离线Spark更好。安装部署的话，我这边就不再演示了…

在开源世界里，Apache Storm项目是流处理的先锋。Storm最早由Nathan Marz和创业公司BackType的一个团队开发，后来才被Apache基金会接纳。Storm提供了低延迟的流处理，但是它为实时性付出了一些代价：很难实现高吞吐，并且其正确性没能达到通常所需的…

专注于大数据及容器云核心技术解密，可提供全栈的大数据+云原生平台咨询方案，请持续关注本套博客。如有任何学术交流，可随时联系。更多内容请关注《数据云技术社区》公众号。 Event Time：事件产生的时间，它通常由事件中的时间戳描述。 在水印的处理中，我们一般取事件时间序列的最大…

本文第一部分将简明扼要地介绍容器管理系统的演变；第二部分是 Flink on K8S 简介，包括集群的部署模式调度原理等等；第三部分是我们这一年以来关于 Flink on K8S 的实战经验分享，介绍我们遇到的问题、踩过的坑；最后一部分是 Demo，将手把手演示集群部署、任务提…

k8s application模式自动化启动、更新、删除flink任务，可作为服务接口底层方法调用。

目前对于flink来说，生产环境一般有两个部署模式，一个是 session模式，一个是per job模式。 这种模式会预先在yarn或者或者k8s上启动一个flink集群，然后将任务提交到这个集群上，这种模式，集群中的任务使用相同的资源，如果某一个任务出现了问题导致整个集群挂掉…

1. 前言 Apache Flink 是一个分布式流处理引擎，它提供了丰富且易用的API来处理有状态的流处理应用，并且在支持容错的前提下，高效、大规模的运行此类应用。通过支持事件时间(event-time)、计算状态(state)以及恰好一次(exactly-once)的容错保…

Kubernetes 相信大家都比较熟悉，近两年大家都在讨论云原生的话题，讨论 Kubernetes。那么什么是 Kubernetes 呢？ K8s 是一个资源管理系统。 如果大家对 Yarn、 Mesos 熟悉，假设给定一批裸的物理机，将资源管理系统部署上去之后，可以在此之上…