五分钟学大数据

「这是我参与11月更文挑战的第11天，活动详情查看：2021最后一次更文挑战」。 1. 生产者生产数据不丢失 发送消息方式 生产者发送给kafka数据，可以采用同步方式或异步方式 同步方式： 发送一批

「这是我参与11月更文挑战的第10天，活动详情查看：2021最后一次更文挑战」。 1. 创建topic 创建一个名字为test的主题， 有三个分区，有两个副本： 2. 查看主题命令 查看kafka当中

「这是我参与11月更文挑战的第9天，活动详情查看：2021最后一次更文挑战」。 1. kafka架构 生产者API 允许应用程序发布记录流至一个或者多个kafka的主题（topics）。 消费者API

「这是我参与11月更文挑战的第8天，活动详情查看：2021最后一次更文挑战」。 Pulsar Apahce Pulasr是一个企业级的发布-订阅消息系统，最初是由雅虎开发，是下一代云原生分布式消息流平

「这是我参与11月更文挑战的第7天，活动详情查看：2021最后一次更文挑战」。 数仓建设真正的难点不在于数仓设计，而在于后续业务发展起来，业务线变的庞大之后的数据治理，而数据治理的范围非常广，包含数据

「这是我参与11月更文挑战的第6天，活动详情查看：2021最后一次更文挑战」。 1. CDC是什么 CDC 是 Change Data Capture（变更数据获取）的简称。核心思想是，监测并捕获数据

「这是我参与11月更文挑战的第5天，活动详情查看：2021最后一次更文挑战」。 Flink SQL 是 Flink 实时计算为简化计算模型，降低用户使用实时计算门槛而设计的一套符合标准 SQL 语义的

「这是我参与11月更文挑战的第4天，活动详情查看：2021最后一次更文挑战」。 1. Checkpoint 介绍 checkpoint 机制是 Flink 可靠性的基石，可以保证 Flink 集群在某

「这是我参与11月更文挑战的第3天，活动详情查看：2021最后一次更文挑战」。 我们之前写的 wordcount 的例子，没有包含状态管理。如果一个 task 在处理过程中挂掉了，那么它在内存中的状态