老錢

最近 Redis 之父 antirez 退休了，以下是他的临别赠言，我抽空翻译了一下，原文在某些地方语言组织的比较晦涩，翻译的可能不是很到位。 When I started the Redis project more than ten years ago I was in o…

本文内容是我在 6 月 23 日参加的深圳 GIAC 技术大会上演讲的文字稿。 观众朋友们，我是来自掌阅的工程师钱文品，掘金小册《Redis 深度历险》的作者。今天我带来的是分享主题是：Redis 在海量数据和高并发下的优化实践。Redis 对于从事互联网技术工程师来说并不陌生…

为了解决布隆过滤器不能删除元素的问题，布谷鸟过滤器横空出世。论文《Cuckoo Filter：Better Than Bloom》作者将布谷鸟过滤器和布隆过滤器进行了深入的对比。相比布谷鸟过滤器而言布隆过滤器有以下不足：查询性能弱、空间利用效率低、不支持反向操作（删除）以及不支…

HashMap 无 Java 人不知无 Java 人不晓，它使用开链法处理 hash 碰撞，将碰撞的元素用链表串起来挂在第一维数组上。但是并不是所有语言的字典都使用开链法搞定的，比如 Python，它使用的是另一种形式 —— 开放地址法。相比 HashMap 是二维的结构，它只…

如果要统计一篇文章的阅读量，可以直接使用 Redis 的 incr 指令来完成。如果要求阅读量必须按用户去重，那就可以使用 set 来记录阅读了这篇文章的所有用户 id，获取 set 集合的长度就是去重阅读量。但是如果爆款文章阅读量太大，set 会浪费太多存储空间。这时候我们就…

限流必然是很有价值的，在系统资源不足时面对外部世界的不确定性（突发流量，超预期的用户）而形成的一种自我保护机制。 但是价值感是很低的，因为99.99%的时候系统总是工作在安全线之下，甚至一年到头都碰不到一次撞线的机会。这就好比法律，它始终存在，但是大部分时候对于大多数人它几乎不…

折腾了一周的 Java Quartz 集群任务调度，很遗憾没能搞定，网上的相关文章也少得可怜，在多节点（多进程）环境下 Quartz 似乎无法动态增减任务，恼火。无奈之下自己撸了一个简单的任务调度器，结果只花了不到 2天时间，而且感觉非常简单好用，代码量也不多，扩展性很好。 当…

我们的业务中经常会遇到穿库的问题，通常可以通过缓存解决。 如果数据维度比较多，结果数据集合比较大时，缓存的效果就不明显了。 因此为了解决穿库的问题，我们引入Bloom Filter。 先查询缓存，缓存不命中再查询数据库。 然后将查询结果放在缓存中即使数据不存在，也需要创建一个缓…

数据库分库分表除了使用中间件来代理请求分发之外，另外一种常见的方法就是在客户端层面来分库分表 —— 通过适当地包装客户端代码使得分库分表的数据库访问操作代码编写起来也很方便。本文的分库分表方案基于 MyBatis 框架，但是又不同于市面上常用的方案，它们一般都是通过编写复杂的 …