本文所讨论的计算资源是指用来执行 Task 的资源，是一个逻辑概念。本文会介绍 Flink 计算资源相关的一些核心概念，如：Slot、SlotSharingGroup、CoLocationGroup、Chain 等。并会着重讨论 Flink 如何对计算资源进行管理和隔离，如何将计算资源利用率最大化等等。理解 Flink 中的计算资源对于理解 Job 如何在集群中运行的有很大的帮助，也有利于我们更透彻地理解 Flink 原理，更快速地定位问题。

本文从编程模型、任务调度、时间机制、Kafka 动态分区的感知、容错及处理语义、背压等几个方面对比 Spark Streaming 与 Flink，希望对有实时处理需求业务的企业端用户在框架选型有所启发。本文篇幅较长，建议先收藏～ Executor:负责执行 task，反馈执行…

说道“心跳”这个词大家都不陌生，当然不是指男女之间的心跳，而是和长连接相关的。 顾名思义就是证明是否还活着的依据。 目前我们接触到的大多是一些基于长连接的应用需要心跳来“保活”。 由于在长连接的场景下，客户端和服务端并不是一直处于通信状态，如果双方长期没有沟通则双方都不清楚对方…

JDK 1.6 对并发性进行了很大的改进，这也是为了使线程之间更好更高效地共享数据，解决竞争问题，实现线程安全。因此从 JDK 1.6 开始，实现了很多锁的优化技术。 讲正题之前，先说一下 ReentrantLock 和 synchronized 这对冤家，我们经常会拿这两个锁…

秒杀资源：以周为时长的资源。 每个页面都会有秒杀资源，数量在1~8份，以随机形式展示给访客。 每周秒杀资源价格由数据部门计算定价，没有有一个时间点进行抢购，如：每周三10点。购买者抢购数量可以是 秒杀资源剩余资源中的任意数量。 购买者是否有抢购秒杀资源的权限，由用户接口信息，账…

注意，这是我的架构实践心得的第二季的系列文章，第一季有10篇你也可以回顾。 其实，这几个问题或多或少是相互关联的。有的时候大家也会自嘲说，“程序员接手的代码永远是烂摊子，然后自己继续在这个烂摊子上产出代码，留给又一波后人接手”。十几年来经历过十来个公司，我看了不少差的代码，也看…

对账系统作为支付系统中的基石系统,处于整个支付环节中的最后一层，主要用来保证我方支付数据与第三方支付渠道或银行的数据一致性。 在没有对账系统之前，财务在第二日手工核对前一日的应收与实收。倘若不一致，这就需要一一核对数据，找出不一致的数据。对账系统出现之后，就可减少以这种繁琐手工…

已经过去的中间件性能挑战赛，和正在进行中的 第一届 PolarDB 数据性能大赛 都涉及到了文件操作，合理地设计架构以及正确地压榨机器的读写性能成了比赛中获取较好成绩的关键。正在参赛的我收到了几位公众号读者朋友的反馈，他们大多表达出了这样的烦恼：“对比赛很感兴趣，但不知道怎么入…

这篇文章，咱们来聊聊热点缓存的架构优化问题。 简单来说，热key，就是你的缓存集群中的某个key瞬间被数万甚至十万的并发请求打爆。 大value，就是你的某个key对应的value可能有GB级的大小，导致查询value的时候导致网络相关的故障问题。 这篇文章，我们就来聊聊热ke…