kafka
6篇文章 · 0订阅
  • kafka rebalance 机制与Consumer多种消费模式案例应用实战-kafka 商业环境实战
    本套系列博客从真实商业环境抽取案例进行总结和分享，并给出Spark商业应用实战指导，请持续关注本套博客。 组订阅发生变更，比如基于正则表达式订阅，当匹配到新的topic创建时，组的订阅就会发生变更。 组的topic分区数发生变更，通过命令行脚本增加了订阅topic的分区数。 组…
    后端 前端
  • kafka集群管理重要操作指令运维兵书-kafka 商业环境实战
    本套系列博客从真实商业环境抽取案例进行总结和分享，并给出Spark商业应用实战指导，请持续关注本套博客。 --num-records： 指定这次测试要发送的总消息数。笔者建议每次执行kafka-producer-perf-test脚本至少要跑够5分钟的时间，这样得出的测试结果才…
    Kafka
  • kafka生产者Producer参数设置及参数调优建议-kafka 商业环境实战
    本套系列博客从真实商业环境抽取案例进行总结和分享，并给出kafka商业应用的调优建议和集群环境容量规划等内容，请持续关注本套博客。 1. Producer核心工作流程 Producer首先使用用户主线程将待发送的消息封装进一个ProducerRecord类实例中。 进行序列化后…
    Kafka 大数据
  • kafka生产者和消费者吞吐量测试-kafka 商业环境实战
    本套系列博客从真实商业环境抽取案例进行总结和分享，并给出kafka商业应用的调优建议和集群环境容量规划等内容，请持续关注本套博客。 1. kafka生产者吞吐量测试指标 kafka-producer-perf-test :是kafka提供的测试Producer性能脚本，通过脚本…
    Kafka
  • kafka生产环境规划-kafka 商业环境实战
    本套系列博客从真实商业环境抽取案例进行总结和分享，并给出kafka商业应用的调优建议和集群环境容量规划等内容，请持续关注本套博客。 1. 操作系统选型 因为kafka服务端代码是Scala语言开发的，因此属于JVM系的大数据框架，目前部署最多的3类操作系统主要由Linux ，O…
    Kafka 大数据
  • 使用多线程增加kafka消费能力
    kafka通过一系列优化，写入和读取速度能够达到数万条/秒。通过增加分区数量，能够通过部署多个消费者增加并行消费能力。但还是有很多情况下，某些业务的执行速度实在是太慢，这个时候我们就要用到多线程去消费，提高应用机器的利用率，而不是一味的给kafka增加压力。 使用Spring创…
    Java Kafka
    使用多线程增加kafka消费能力