帅丙我工作以来接触的消息队列中间件有RocketMQ、Kafka、自研，是的因为我主要接触的都是电商公司，相对而言业务体量还有场景来说都是他们比较适合，再加上杭州阿里系公司偏多，身边同事或者公司老大基本都是阿里出来创业的，那在使用技术栈的时候阿里系的开源框架也就成了首选。 就算…

这篇文章，我们来聊聊在线上生产环境使用消息中间件技术的时候，从前到后的全链路到底如何保证数据不能丢失。 这个问题，在互联网公司面试的时候高频出现，而且也是非常现实的生产环境问题。 如果你的简历中写了自己熟悉MQ技术（RabbitMQ、RocketMQ、Kafka），而且在项目里…

对于流行的分布式计算框架（如离线的MapReduce、流计算Storm、迭代内存计算Spark、流式计算Flink），“数据量大”从来都不是问题，因为理论上来说，都可以通过增加并发的节点数来解决。 但是如果数据倾斜或者分布不均匀了，那么就会是问题。此时不能简单地通过增加并发节点…

上篇文章：《面试大杀器：消息中间件如何实现消费吞吐量的百倍优化？》，我们分析了RabbitMQ开启手动ack机制保证消费端数据不丢失的时候，prefetch机制对消费者的吞吐量以及内存消耗的影响。 通过分析，我们知道了prefetch过大容易导致内存溢出，prefetch过小又…