消息中间件

本文正在参加「金石计划」  前言 本文说明的是Kafka的客户端（生产者、消费者）与broker之前的限流，不是kafka的broker间topic副本同步的限流。 客户端限流 在kafka的官方文档

前言 kafka-console-ui 是一款web版的kafka管理平台，从第一次发布到现在已经两年了，断断续续也更新了7个版本了（v1.0.0~v1.0.6）。

在RocketMQ和Kafka中也都使用了二分查找算法，在实际应用上也是各有千秋，文中把使用的地方及源码都进行了分析，有兴趣可以看一下

一套直接复制、粘贴就可以使用的kafka监控、告警解决方案。监控面板上指标也比较详尽，看起来也比较nice。

想找一款合适的kafka可视化管理工具，可是在网上查来查去不知道都有哪些，那就看这个，这里整理了几款kafka管理工具，可以快速浏览选型。

背景 我在检索消息的时候，意外发现一些消息的时间值是-1，如下： ​ 而另外两条消息却有正常的时间。 想找下相关原因，所以查阅了一下kafka官方文档，有了相关结论。 官方说明 kafka消息的格式有

kafka提供了消费组命令工具管理消费组：kafka-consumer-groups.sh，在0.11版本之后引入位移重置功能，重置策略如下： 就是可以根据时间重置、重置到最小

消息的发送过程基本就是这样，主要采用的就是生产者-消费者模式，异步批量发送的形式。鉴于代码量太大，所以不会贴太多源码分析，尽量使用流程图和文字表达清楚。

将不同kafka集群的服务进行集群间平滑迁移的时候，生产端和消费端可能位于不同的服务进程上，因此生产者数据同步以及消费端的消费幂等性处理是一个难以处理的问题，这里提供一个平滑迁移的解决方案可供参考。

kafka-console-ui 是一款轻量级的kafka可视化管理平台，安装、配置特别简单，一般来说只需要配置一个kafka集群地址启动即可。 不是一个企业级的平台，目前看来只适合中、小型集群

最近需要调试kafka源码，所以在本地idea配置一下运行环境，分享一下，给后面的新同学一个参考。 环境 下面是我用的环境，可以保证正确运行 系统：mac os jdk: 1.8.0_271 i

kafka的ACL管理在新增用户或权限管理上，通过命令的方式比较繁琐，是否有一个可视化的管理平台，方便快捷的进行管理呢？

kafka支持基于SSL和SASL两种认证机制，本文以SASL说明。 kafka支持的SASL机制有5种：GSSAPI、PLAIN、SCRAM、OAUTHBEARER、Delegation To

RocketMQ主机磁盘空间有限，可业务想让他们的消息保存更久一点，可以支持查看很久以前的消息来帮助处理一些问题，这里有一个很好的方案，不妨尝试一下。

rocketmq-spring的consumer的相关属性在配置的时候，只提供几个固定的属性可以进行代码配置，如果我们想修改其它的属性值，该怎么操作呢？

RocketMQ集群部署模型为Dledger模式时，想要升级新版本，如何操作才能让客户端完全不受影响，实现平滑升级？

前言 之前，有业务侧同学第一次在自己项目上集成RocketMQ时，在自己电脑上测试的时候，一发送消息就报错sendDefaultImpl call timeout，然后反馈过来看是什么原因，我仔细查了

RocketMQ生产者发送消息有些情况下发送失败，默认会进行重试，有些场景下却不会，只有了解清楚，才能更好的使用。

RocketMQ的消息轨迹，可以帮助我们在线上排查问题，但是它是如何启用，内部如何存储和流转，你真的了解么。

前置说明 go默认使用logrus，但是提供了接口，可以自定义日志实现，官网说明如下： 适用场景 自定义日志格式、日志输出目录（采集、监控、统计分析等场景下使用） 示例 自定义日志实现 启动的时候设置