这是我参与「第五届青训营」笔记创作活动的第 13 天
|| 🎶今日笔记🎶 ||
队列原理&实战
- 什么是消息队列
- 消息队列-Kafka
- 消息队列-RabbitMQ
前言-->
消息队列已经逐渐成为企业应用系统内部通信的核心手段。它具有 低耦合、可靠投递、广播、流量控制、最终一致性 等一系列功能。
当前使用较多的消息队列有 RabbitMQ、RocketMQ、ActiveMQ、Kafka、ZeroMQ、MetaMQ 等，而部分数据库如 Redis、MySQL 以及 phxsql 也可实现消息队列的功能。
什么是消息队列
消息队列 是指利用 高效可靠 的 消息传递机制 进行与平台无关的 数据交流，并基于 数据通信 来进行分布式系统的集成。
通过提供 消息传递 和 消息排队 模型，它可以在 分布式环境 下提供 应用解耦、弹性伸缩、冗余存储、流量削峰、异步通信、数据同步 等等功能，其作为 分布式系统架构 中的一个重要组件，有着举足轻重的地位。
消息队列的特点
1. 采用异步处理模式
消息发送者 可以发送一个消息而无须等待响应。消息发送者 将消息发送到一条 虚拟的通道（主题 或 队列）上，消息接收者 则 订阅 或是 监听 该通道。一条信息可能最终转发给 一个或多个 消息接收者，这些接收者都无需对 消息发送者 做出 同步回应。整个过程都是 异步的。
2. 应用系统之间解耦合
主要体现在如下两点：
- 发送者和接受者不必了解对方、只需要 确认消息；
- 发送者和接受者 不必同时在线。
比如在线交易系统为了保证数据的 最终一致，在 支付系统 处理完成后会把 支付结果 放到 消息中间件 里，通知 订单系统 修改 订单支付状态。两个系统是通过消息中间件解耦的。
Kafka
Apache Kafka 是一个 分布式消息发布订阅 系统。它最初由 LinkedIn 公司基于独特的设计实现为一个 分布式的日志提交系统 (a distributed commit log)，之后成为 Apache 项目的一部分。Kafka 性能高效、可扩展良好 并且 可持久化。它的 分区特性，可复制 和 可容错 都是其不错的特性。
主要特性
- 快速持久化：可以在
O(1)的系统开销下进行 消息持久化； - 高吞吐：在一台普通的服务器上既可以达到
10W/s的 吞吐速率； - 完全的分布式系统：
Broker、Producer和Consumer都原生自动支持 分布式，自动实现 负载均衡； - 支持 同步 和 异步 复制两种 高可用机制；
- 支持 数据批量发送 和 拉取；
- 零拷贝技术(zero-copy) ：减少
IO操作步骤，提高 系统吞吐量； - 数据迁移、扩容 对用户透明；
- 无需停机 即可扩展机器；
- 其他特性：丰富的 消息拉取模型、高效 订阅者水平扩展、实时的 消息订阅、亿级的 消息堆积能力、定期删除机制；
部署环境
使用 Kafka 需要：
Java JDKKafka安装包
优点
- 客户端语言丰富：支持
Java、.Net、PHP、Ruby、Python、Go等多种语言； - 高性能：单机写入
TPS约在100万条/秒，消息大小10个字节； - 提供 完全分布式架构，并有
replica机制，拥有较高的 可用性 和 可靠性，理论上支持 消息无限堆积； - 支持批量操作；
- 消费者 采用
Pull方式获取消息。消息有序，通过控制 能够保证所有消息被消费且仅被消费 一次； - 有优秀的第三方
Kafka Web管理界面Kafka-Manager； - 在 日志领域 比较成熟，被多家公司和多个开源项目使用。
RabbitMQ
RabbitMQ 于 2007 年发布，是一个在 AMQP (高级消息队列协议)基础上完成的，可复用的企业消息系统，是当前最主流的消息中间件之一。
主要特性
- 可靠性：提供了多种技术可以让你在 性能 和 可靠性 之间进行 权衡。这些技术包括 持久性机制、投递确认、发布者证实 和 高可用性机制；
- 灵活的路由：消息在到达队列前是通过 交换机 进行 路由 的。
RabbitMQ为典型的路由逻辑提供了 多种内置交换机 类型。如果你有更复杂的路由需求，可以将这些交换机组合起来使用，你甚至可以实现自己的交换机类型，并且当做RabbitMQ的 插件 来使用； - 消息集群：在相同局域网中的多个
RabbitMQ服务器可以 聚合 在一起，作为一个独立的逻辑代理来使用； - 队列高可用：队列可以在集群中的机器上 进行镜像，以确保在硬件问题下还保证 消息安全；
- 支持多种协议：支持 多种消息队列协议；
- 支持多种语言：用
Erlang语言编写，支持只要是你能想到的 所有编程语言； - 管理界面：
RabbitMQ有一个易用的 用户界面，使得用户可以 监控 和 管理 消息Broker的许多方面； - 跟踪机制：如果 消息异常，
RabbitMQ提供消息跟踪机制，使用者可以找出发生了什么； - 插件机制：提供了许多 插件，来从多方面进行扩展，也可以编写自己的插件。
~ End ~
