世界上根本就没有一见钟情，所谓的一见钟情，不过是你遇见了那个你一直想遇见的人
本文来源于笔者的CSDN（ blog.csdn.net/zhanshenzhi… ）原创，由于掘金>已经去掉了转载功能，所以只好重新上传，以下图片依然保持最初发布的水印（如CSDN水印）。（以后属于本人原创均以新建状态在多个平台分享发布）
前言
各位JRS（不好意思，貌似我跑错“片场”了），之前有一直学习消息队列的知识，以前工作中也用了下RabbitMQ，对Kafka没有系统性的实战与归纳总结，一谈起Kafka。正巧最近有用过，决定写个Kafka系列专题，权当做笔记，如有错误，请各位多多包含且留下你的笔墨（建议或纠正点）。Thanks！
Kafka简介
Kafka是Scala和JAVA语言开发的，原先是用来处理日志数据及日志聚合，后期发展为了消息队列。是一个高吞吐量的发布订阅的分布式流处理平台。 流处理平台的三个特性：
- 可以发布和订阅流式记录。和其他消息队列或企业级消息系统类似
- 可以流式存储消息，有很好的容错性
- 可以在生成流记录时，就可以处理。比如说聚合计算。
消息队列的作用
这里并不是Kafka的作用，而是消息队列的通用作用。我想各位JRS(不好意思，我暴露虎扑身份😀)面试常被问到。好了言归正传：
- 异步解耦 也可以把这两个拆分为2个优点：
-
异步
-
解耦 从上图可以看出，系统系统（第三方支付系统）和下游系统（银行系统），其数据交互有MQ来交互，而不相互依赖，即使下游服务宕机，也不影响上游服务，达到了解耦的作用。
- 削峰填谷 双十一马上要到了，想必秒杀抢订单大家独有经历过。淘宝的流量大家都知道，"发电之王"吴pao王都跟他不是一个量级的。（以下举例数据非淘宝）如果服务器的吞吐量最大200/sec，而且订单是1000/sec，这个时候，服务器必然挂了。如果每秒1000个订单请求MQ，然后系统从MQ拉去数据慢慢消费。
Kafka与其他MQ的优缺点
常见的MQ有ActiveMQ、RabiitMQ、RocketMQ、Kafka、ZeroMQ 优点： - 基于磁盘实现数据持久化 - 支持多生产者多消费者 - 一个消费者可以消费多个主题 - 支持Broker的横向扩展 - 多副本机制，实现数据冗余，尽量保证数据不丢失 - 批次发送压缩数据，减少与网络IO资源开销，并提升吞吐量 - Broker不存储消息，只记录消息对应的分区和偏移量 - 通过topic进行数据分类，不过这个所有MQ都有 - 支持多种模式的消息(schema) - 高性能处理数据，在处理大量数据的情况下，能保证亚秒级的消息延迟 - 对CPU和内存的消耗比较小 - 对网络开销也比较小 - 支持跨数据中心的数据复制 - 支持镜像复制
以下表格对比目前比较流行的MQ（这个大同小异，好多人在其他同僚文章看过）
| 特性 | ActiveMQ | RabbitMQ | RocketMQ | kafka |
|---|---|---|---|---|
| 单机吞吐量 | 万级，吞吐量比RocketMQ和Kafka要低了一个数量级 | 万级，吞吐量比RocketMQ和Kafka要低了一个数量级 | 10万级，RocketMQ也是可以支撑高吞吐的一种MQ | 10万级别，这是kafka最大的优点，就是吞吐量高。一般配合大数据类的系统来进行实时数据计算、日志采集等场景 |
| topic数量对吞吐量的影响 | topic可以达到几百，几千个的级别，吞吐量会有较小幅度的下降这是RocketMQ的一大优势，在同等机器下，可以支撑大量的topic | topic从几十个到几百个的时候，吞吐量会大幅度下降所以在同等机器下，kafka尽量保证topic数量不要过多。如果要支撑大规模topic，需要增加更多的机器资源 | ||
| 时效性 | ms级 | 微秒级，这是rabbitmq的一大特点，延迟是最低的 | ms级 | 延迟在ms级以内 |
| 可用性 | 高，基于主从架构实现高可用性 | 高，基于主从架构实现高可用性 | 非常高，分布式架构 | 非常高，kafka是分布式的，一个数据多个副本，少数机器宕机，不会丢失数据，不会导致不可用 |
| 消息可靠性 | 有较低的概率丢失数据 | 经过参数优化配置，可以做到0丢失 | 经过参数优化配置，消息可以做到0丢失 | |
| 功能支持 | MQ领域的功能极其完备 | 基于erlang开发，所以并发能力很强，性能极其好，延时很低 | MQ功能较为完善，还是分布式的，扩展性好 | 功能较为简单，主要支持简单的MQ功能，在大数据领域的实时计算以及日志采集被大规模使用，是事实上的标准 |
| 优劣势总结 | 非常成熟，功能强大，在业内大量的公司以及项目中都有应用偶尔会有较低概率丢失消息而且现在社区以及国内应用都越来越少，官方社区现在对ActiveMQ 5.x维护越来越少几个月才发布一个版本而且确实主要是基于解耦和异步来用的，较少在大规模吞吐的场景中使用 | erlang语言开发，性能极其好，延时很低；吞吐量到万级，MQ功能比较完备而且开源提供的管理界面非常棒，用起来很好用社区相对比较活跃，几乎每个月都发布几个版本分在国内一些互联网公司近几年用rabbitmq也比较多一些但是问题也是显而易见的，RabbitMQ确实吞吐量会低一些，这是因为他做的实现机制比较重。而且erlang开发，国内有几个公司有实力做erlang源码级别的研究和定制？如果说你没这个实力的话，确实偶尔会有一些问题，你很难去看懂源码，你公司对这个东西的掌控很弱，基本职能依赖于开源社区的快速维护和修复bug。而且rabbitmq集群动态扩展会很麻烦，不过这个我觉得还好。其实主要是erlang语言本身带来的问题。很难读源码，很难定制和掌控。 | 接口简单易用，而且毕竟在阿里大规模应用过，有阿里品牌保障日处理消息上百亿之多，可以做到大规模吞吐，性能也非常好，分布式扩展也很方便，社区维护还可以，可靠性和可用性都是ok的，还可以支撑大规模的topic数量，支持复杂MQ业务场景而且一个很大的优势在于，阿里出品都是java系的，我们可以自己阅读源码，定制自己公司的MQ，可以掌控社区活跃度相对较为一般，不过也还可以，文档相对来说简单一些，然后接口这块不是按照标准JMS规范走的有些系统要迁移需要修改大量代码还有就是阿里出台的技术，你得做好这个技术万一被抛弃，社区黄掉的风险，那如果你们公司有技术实力我觉得用RocketMQ挺好的 | kafka的特点其实很明显，就是仅仅提供较少的核心功能，但是提供超高的吞吐量，ms级的延迟，极高的可用性以及可靠性，而且分布式可以任意扩展同时kafka最好是支撑较少的topic数量即可，保证其超高吞吐量而且kafka唯一的一点劣势是有可能消息重复消费，那么对数据准确性会造成极其轻微的影响，在大数据领域中以及日志采集中，这点轻微影响可以忽略这个特性天然适合大数据实时计算以及日志收集 |
Kafka的应用场景
-
消息 很好的代替了传统的消息代理（Message Broker）。可用各个应用场景（数据生成和数据处理解耦、缓冲未处理数据等）。
-
日志聚合 传统的日志聚合系统一般都是从服务器收集日志，存储到一个文件中心系统，如文件服务器或HDFS。而Kafka将日志文件提取消息，并且抽象成流信息，这样支持不同的数据源和分布式数据消耗，而且是低延迟的。
-
采集日志 Event Source(事件溯源)可以用来追溯历史重演，需要大量的存储及有先后的时间顺序，而Kafka可以存储非常多的日志，而且结构就有时间戳。
-
提交日志 Kafka可以外部系统提交日志。
-
用户活动跟踪 网站浏览、搜索、其他操作，发布到中心topic，每个活动类型为一个topic，然后订阅源可以将数据加载到Handoop或离线仓库里，进行离线等处理。
-
度量 涉及到收集分布式应用程序中的数据汇总，然后生产可集中数据源。如收 集运营监控数据，比如告警、报告等
-
流式处理 如Spark、Storm大数据处理
引用官方的描述：
构造实时流数据管道，它可以在系统或应用之间可靠地获取数据。 (相当于 message queue) 构建实时流式应用程序，对这些流数据进行转换或者影响。 (就是流处理，通过kafka stream topic和topic之间内部进行变化)
Kafak四个核心的API
-
Producer API 允许一个应用发布流式的数据到一个或多个topic
-
Consumer API 允许一个应用程序订阅一个或多个 topic ，并对它们的数据进行处理。
-
Streams API 允许一个应用程序当作一个流处理器，消费一个或者多个topic的输入流，然后生产一个输出流，发送到一个或多个topic，在输入流和输出流之间相互转换。
-
Connector API 允许构建并运行可重用的生产者或者消费者，将Kafka topics连接到已存在的应用程序或者数据系统。比如，连接到一个关系型数据库，捕捉表（table）的所有变更内容。
后序
下期预告： （二）消息队列-Kafka核心概念（相知）
学无止境，时不待我！
