Kafka

持续创作，加速成长！这是我参与「掘金日新计划 · 6 月更文挑战」的第7天，点击查看活动详情 Kafka浅析 一、前言 在项目中，我们常常需要用到消息队列中间件，主要用来解决应用耦合，异步消息，流量削

持续创作，加速成长！这是我参与「掘金日新计划 · 6 月更文挑战」的第22天，点击查看活动详情 哈喽，大家好，我是一条。 今天下午本打算整理一下服务器资源，给每个服务器打个标签，标明部署了哪些服务，方

​ 一.引言 使用 Flink - Kafka 接数据 Source 时程序报错： 任务每次启动后持续10min左右，然后 RUNNING -> FAILED，如此重启失败了多次。 二.问题现象 1.

副本迁移是Kafka最高频的操作，对于一个拥有几十万个副本的集群，通过人工去完成副本迁移是一件很困难的事情。Cruise Control作为Kafka的运维工具，它包含了Kafka服务上下线、集群内负

关于Kafka的介绍 当我们听到 "数据管道 "这个术语时，以下问题立即值得一提。 什么是数据管道？ 它的目的是什么？ 它与ETL有什么区别？ 在数据生产者和数据消费者的情况下，生产者在做一些数据处理

介绍 说起 Kafka 很多同学都知道，即使你没有用过也知道，它是消息队列中数一数二的运动健将，他可以承载每秒钟上百万此的数据处理，但问什么 Kafka 可以这么快呢？ 归纳原因主要有这四点原因，磁盘

本篇对在kafak万亿消息实践中一次典型的故障进行详细分析和说明。深入到kafka架构原理层分析故障出现的根因及对应的解决方案。

本文旨在帮助大家对消息队列 Kafka「检索组件」的特点及使用方式更加熟悉，以期可以帮助大家更有效的解决在消息排查过程中遇到的痛点问题。

我们先看一下生产端的架构图： 架构图 生产者主要分为两个线程，分别为KafkaProducer主线程和Sender线程，这两个线程相互配合运行。在实际的使用中开发者只会涉及到KafkaProducer

在高水位 HW 机制下，Leader 切换时候会发生哪些问题？ 会有两个主要问题： Leader 切换时

对于运维人而言，如何安装维护一套监控系统，或如何进行技术选型，从来不是工作重点。如何借助工具对所需的应用、组件进行监控，发现并解决问题才是重中之重。随着 Prometheus 逐渐成为云原生时代可观测

一次线上问题分析实录，看看 wireshark 如何在排查问题中发挥重要作用，kafka 发送包大小的一些限制

Kafka生产问题总结及性能优化实践 Kafka线上JVM调优 详细链接: https://www.processon.com/view/link/628753b51efad466f3421903 J

这里不得不提 2 个重要参数：replica.lag.max.messages 和 replica.lag.time.max.ms

一起养成写作习惯！这是我参与「掘金日新计划 · 4 月更文挑战」的第25天，点击查看活动详情。 部署zookeeper、kafka(用户权限) 一、 服务器资源 服务名称：Linux服务器 IP：[请

Kafka 是由 Linkedin 公司开发的，它是一个分布式的，支持多分区、多副本，基于 Zookeeper 的分布式消息流平台，它同时也是一款开源的基于发布订阅模式的消息引擎系统。 消息：Kafka 中的数据单元被称为消息，也被称为记录，可以把它看作数据库表中某一行的记录。…

前言 不知道大家有没有这样的体验，你跟你团队的成员，宣导一些开发时注意事项，比如在使用消息队列时，在消费端处理消息时，需根据业务场景，考虑一下幂等。后面走查代码的时，会发现一些资浅的开发，在需要幂等判

在这篇文章中，我们介绍了如何安装Kafka以及Spring支持Apache Kafka的基本情况。我们简单学习了一下用于发送和接收消息的类。

Kafka的消息传输保障机制非常直观。当producer向broker发送消息时，一旦这条消息被commit，由于副本机制（replication）的存在，它就不会丢失。但是如果producer发送数

​简介：Delta Lake 是 DataBricks 公司开源的、用于构建湖仓架构的存储框架。能够支持 Spark，Flink，Hive，PrestoDB，Trino 等查询/计算引擎。作为一个开放