Kafka
6篇文章 · 0订阅
  • Kafka 最佳实践
    这里主要是 Kafka 集群基本配置的相关内容。 至少要分配 6-8 GB 的堆内存。 Kafka 集群需要监控的一些指标，这些指标反应了集群的健康度。 ZooKeeper 监控。 Broker 扩容。 LeaderElectionRate。 允许不在 isr 中 replic…
    Kafka
  • ✈️【Kafka实战指南】kafka分区数设置多少合适
    前提概要 越多的partition可以提供更高的吞吐量 「单个partition是kafka并行操作的最小单元」。每个partition可以独立接收推送的消息以及被consumer消费，相当于topi
    Kafka
    ✈️【Kafka实战指南】kafka分区数设置多少合适
  • Kafka重平衡—Rebalance 你了解吗？
    consumer group的rebalance本质上是一组协议，他规定了一个consumer group是如何达成一致来分配订阅topic的所有分区的。 假设某个组下有20个consumer实例，该组订阅了一个有着100个分区的topic。正常情况下，Kafka会为每个con…
    Kafka
  • Kafka 大厂面试题
    Kafka对于消息体的大小默认为单条最大值是1M但是在我们应用场景中，常常会出现一条消息大于1M，如果不对Kafka进行配置。则会出现生产者无法将消息推送到Kafka或消费者无法去消费Kafka里面的
    大数据
    Kafka 大厂面试题
  • Kafka技术专题之「问题分析篇」消息队列服务端出现内存溢出OOM以及相关实战分析系列
    「这是我参与2022首次更文挑战的第27天，活动详情查看：2022首次更文挑战」。 主旨内容 本篇文章介绍Kafka处理大文件出现内存溢出 java.lang.OutOfMemoryError: Di
    后端 Kafka
    Kafka技术专题之「问题分析篇」消息队列服务端出现内存溢出OOM以及相关实战分析系列
  • 为什么每一个爬虫工程师都应该学习 Kafka
    这篇文章不会涉及到Kafka 的具体操作，而是告诉你 Kafka 是什么，以及它能在爬虫开发中扮演什么重要角色。 再来看看统计关键词的功能，这个功能背后有一个网页，会实时显示抓取数据量的变化情况，可以显示每分钟、每小时的某个关键词的抓取量。 最后一个需求，对微博数据进行情感分析…
    Python Kafka