一护

给定一个最多包含40亿个随机排列的32位整数的顺序文件，找出一个不在文件中的32位整数。（在文件中至少确实一个这样的数---为什么？）。在具有足够内存的情况下，如何解决该问题？如果有几个外部的“临时”文件可用，但是仅有几百字节的内存，又该如何解决该问题？ 因为32位的整数总共有…

基数(cardinality，也译作势)，是指一个集合中不重复元素的个数。这里的集合和我们学过的严格定义的集合不同，允许存在重复元素，被称作multi-set，如给定这样的一个集合{1,2,3,1,2}，它有5个元素, 基数是3 基数计数(cardinality countin…

Blob的中文意思是二进制大对象，Flink中提供了一种Blob服务，用来进行包的管理。在Flink云化的工作中涉及到这个组件，本文就来解析一下Blob server的实现。 k8s模式下，没有NodeManager来提供jar包管理的服务，例如用户的jar，引擎的jar，在Y…

今天在排查Flink作业某个task一直卡在CANCELING状态时翻到一块代码，在org.apache.flink.runtime.executiongraph.Execution#cancel中执

内部接口提供了更多的方法，包括获取state中的serialize之后的byte，以及Namespace的操作方法。内部状态主要用于内部runtime实现时所需要用到的一些状态比如window中的windowState，CEP中的sharedBuffer,kafkaConsum…

checkpoint，cancel动作执行之后本轮的checkpoint就为超时，如果在超时之前收到了最后一个sink算子的ack信号，那么checkpoint就是成功的。 前提就是要收集齐上游所有并发的barrier。 同时会将barrier包装成buffer对象，此处不申请…