码屠

使用数据的场景并不会有那么频繁的修改，如果我们使用那样的方式每天更新一次，也就意味着每天都需要1个亿的id,那么这张表42天后就会用完,那么到时候就不够用了，而增量的分析方...

PECSextends用于生产者模式，而super用于消费者模式。 消费者，callback的结果是为了消费。生产者比如那些Converter，处理不同格式的请求，需要生产...

网络问题有时候让人摸不着头脑，但是并不可怕，只要仔细分析，必然能找到问题的原因。 应用层出现网络问题时，我们先排查应用层的问题，尽量的规避问题，再查看底层网络或者对方是否存...

共识问题是分布式计算中最重要也是最基本的问题之一，表面上看，只是让几个节点就某件事情达成一致。这似乎很简单，但是许多失败的系统正是由于低估了这个问题所导致的。 在探讨了复制...

为了将写路径扩展到最终用户，我们需要从根本上重新思考构建这些系统的方式：从**请求/响应交互交互**转向发**布/订阅数据流**！...

投入大量资源，也是可以达到非常高的时钟精度。比如金融机构要求**高频交易基金**必须在UTC **100微妙**内同步时钟，以便调试‘崩盘’等市场异常并**检测市场操纵**...

批处理容错方法要确保批处理作业的输出和没有出错时的最终结果相同，即使中间某些情况失败了，看起来好像每个输入记录都恰好被记录了一次，没有记录被遗漏，也没有记录被处理两次。 这...

持续创作，加速成长！这是我参与「掘金日新计划 · 6 月更文挑战」的第10天，点击查看活动详情 本系列主要是《数据密集型应用系统设计》阅读笔记，本文记录流处理主题的笔记心得...

迁移之后，至少满足： - 负载、数据、请求等更均匀的分布 - 再平衡的过程中，数据库应该可以继续提供读写服务 - 避免不必要的负载迁移，以加快动态再平衡，尽量减少网络和磁盘...

解决并发问题的直接有效方法是避免并发。 多线程并发在过去30年的时间一直被认为是提升性能的关键。那么现在也有逐渐转向单线程执行的趋势，是为什么呢？ - 内存越来越便宜 - ...

因此，在消息处理的代价很高，希望并行处理，而且消息排序又不那么重要的情况下，AMQP和JMS风格的消息代理更可取。另一方面，**在消息吞吐量高的情况下，每个消息处理速度快，...

对于医生值班的例子，我们可以使用`for update`加锁步骤1的结果来保证事务安全。但是对于会议室预定系统这个场景则不适合，因为`for update`无从加锁。串行化...

**如果所有的读写都是同一个关键字，则最终所有请求都被路由到同一个分区**。 比如社交媒体上，一些名人用户有数百万的粉丝，当发布一些热点事件时可能会引发**访问风暴**。此...

对于又**要异步同步副本**，**又要从副本读取数据**，在应用层可以提供比底层数据库更强有力的保证，例如只在主节点上进行特定类型的读取。代价是，应用层代码中处理这些问题通...

需要先访问内存表，再访问段文件，以及更旧的段文件，直到扫描完毕。效果很低。为了优化这个问题，DB往往还会维护一个布隆过滤器。 虽然B树是使用最广泛的一种索引，但是LSM t...

面向列的排序和压缩让写入变得困难。如果在排序表的中间插入一行，那么很可能不得不修改**所有的列文件**。 幸运的是，可以利用前面提到的**LSM tree**的思想。所有的...

总的来说，追加文件的，也就是日志结构的存储具有很多的优势： - 顺序写比随机写快的多 - 段文件的并发和奔溃恢复很简单 - 合并旧段可以避免文件碎片问题。 当然也有一些局限...

这是我参与8月更文挑战的第5天，活动详情查看：8月更文挑战 垃圾回收（Garbage Collection，GC），就是释放垃圾占用的空间，防止内存泄露。更有效的理由内存，...

本文本文探讨的范围是索引中的普通索引，分析了Mysql索引的一些问题，主要是关于怎么建立索引、索引的存储结构以及思考关于怎么命中索引的问题。 是否了解到了？ - 经常使用和...

Gcroots有哪些呢？ - 虚拟机栈中引用的对象-局部变量 - 静态成员引用的对象 - 类成员引用的对象 - 方法区常量引用的对象 - 本地方法栈JNI引用的对象 了解引...