介绍 今天这篇文章，我想聊一聊MySQL数据库是如何应对故障恢复，与数据恢复回滚的问题。一个最基本的数据库，应当可以做到以下几点： 数据持久化，可以将数据保存到磁盘，服务重启数据依然存在。 可以按照某

引言 Apache Kafka无疑是一个伟大的发明，可以进行消息削峰、异步处理、大规模流式处理等，如果应用得当，还可以进行高可用的可靠消息投递，本文讨论Kafka exacly once语义。

分页是一个很普通的功能，只要是个后端开发就要写分页，那为什么要分页？从业务上来讲，即使系统返回所有数据，用户绝大多数情况下是不会看后面的数据的。

看完图了，可能很多朋友还是云里雾里，那么接下来我就做简单解释。 作为一个分布式的系统，为了保证整个系统的数据一致性和以及一些治理的工作都会有一个协调者。那么对于这个协调策略，通常有两种思路： 而ES就是使用的第一种思路，并且解决了如何应对网络故障。 通常ES集群的节点的数量远远…

控制器组件(Controller)是 Apache Kafka 的核心组件。它的主要作用是在 Apache ZooKeeper 的帮助下管理和协调整个 Kafka 集群，例如分区领导者副本的选举。 集群中任意一台 Broker 都能充当控制器的角色，但是，在运行过程中，只能有一…

为了解决布隆过滤器不能删除元素的问题，布谷鸟过滤器横空出世。论文《Cuckoo Filter：Better Than Bloom》作者将布谷鸟过滤器和布隆过滤器进行了深入的对比。相比布谷鸟过滤器而言布隆过滤器有以下不足：查询性能弱、空间利用效率低、不支持反向操作（删除）以及不支…

聪明的你可能会马上想到，用 HashMap 这种数据结构就可以了，也满足了去重。的确，这是一种解决方法，除此之外还有其它的解决方案。 问题虽不难，但当参与问题中的变量达到一定数量级的时候，再简单的问题都会变成一个难题。假设 APP 中日活用户达到百万或千万以上级别的话，我们采用…

Kafka 自 0.11 版本开始也提供了对事务的支持，目前主要是在 read committed 隔离级别上做事情。 它能保证多条消息原子性地写入到目标分区，同时也能保证 Consumer 只能看到事务成功提交的消息。 事务型 Producer 能够保证将消息原子性地写入到多…

前言 现在假定这么一个业务场景，从kafka中的topic获取消息数据，经过一定加工处理后，发送到另外一个topic中，要求整个过程消息不能丢失，也不能重复发送，即实现端到端的Exactly-Once