小五爱学习47358

这篇文章将分为上下两篇， 上篇理论， 下篇源代码。将讲解一下checkpoint在spark和flink里面的实现方式， 以及大概为什么要这样实现， 这里只讨论实时系统，别的不包括在内。 对于一个实时处理系统来说， checkpoint是必不可少的，用做容错时恢复的依据。 ch…

一个可能在很多人看来很扯淡的一个问题：我会用多线程就好了，还管它有什么用？在我看来，这个回答更扯淡。所谓”知其然知其所以然”，”会用”只是”知其然”，”为什么用”才是”知其所以然”，只有达到”知其然知其所以然”的程度才可以说是把一个知识点运用自如。OK，下面说说我对这个问题的看…

Monitoring 指的是监控， 重点强调系统是不是正在工作。 Observability 更强调可观测， 例如某一个组件或者servie挂了， 能不能追踪到根源。 能fq的同志可以看下原版的视频。 完成healthcheck的方式有很多种，可以是广播模式，例如一个负责监控的…

Netty框架的主要线程就是I/O线程，这一篇来学习Netty是如何设计优秀的线程模型的。Netty支持Reactor单线程模型、多线程模型和主从Reactor多线程模型。 本文分析的代码基于最新的master分支版本。 最常用的主从多线程模型有两个reactor线程池，Acc…

在许多业务场景中，我们都会碰到延迟任务，定时任务这种需求。特别的，在网络连接的场景中，常常会出现一些超时控制。由于服务端的连接数量很大，这些超时任务的数量往往也是很庞大的。实现对大量任务的超时管理并不是一个容易的事情。 本章我们将介绍几种用于实现超时任务的数据结构，并且最后分析…

所以，您的数据不是很耐用... 在第1部分中，我使用gRPC和Go编写了一个非常简单的服务器，该服务器用于服务Get和Put请求内存中的映射。如果服务器退出，它将丢失所有数据，对于数据库，我必须承认这是非常糟糕的。 我实现了预写日志记录，允许在服务器重新启动时恢复内存中状态。尽…

HyperLogLog是Redis中的高级数据结构，它主要用于对海量数据（可以统计2^64个数据）做基数统计（去重统计数量）。它的特点是速度快，占用空间小（12KB）。但是计算存会在误差，标准误差为0.81%。HyperLogLog只会根据输入元素来计算基数，而不会储存输入元素…

按照官网的说法，Redis位图Bitmaps不是实际的数据类型，而是在字符串类型上定义的一组面向位的操作。在Redis中字符串限制最大为512MB，所以位图中最大可以设置2^32个不同的位（42.9亿个）。图位的最小单位是比特(bit)，每个bit的值只能是0或1。 设置指定k…

这一章，我们主要学习如何增强代码的可读性。有人说过 最好的模式恰恰是是那些他认为会被别人嘲笑的模式 也不敢改，怕改出线上故障。最终写着写着就又回到了针对业务编程。 举个最简单的例子，阿里的java编码规约大家肯定都看过，甚至多数人可能都装了阿里的java代码检测插件，其中有一条…