携手创作,共同成长!这是我参与「掘金日新计划 · 8 月更文挑战」的第1天,点击查看活动详情
什么是MQ消息中间件和应用场景
-
什么是MQ消息中间件
- 全称MessageQueue,主要是用于程序和程序直接通信,异步+解耦
-
使用场景:
-
核心应用
- 解耦:订单系统-》物流系统
- 异步:用户注册-》发送邮件,初始化信息
- 削峰:秒杀、日志处理
-
跨平台、多语言
-
分布式事务、最终—致性
-
RPC调用上下游对接,数据源变动->通知下属
-
JMS消息服务和和常见核心概念介绍
简介:讲解什么是AMQP和JMS消息服务
-
什么是JMS: Java消息服务(Java Message Service)Java平台中关于面向消息中间件的接口
-
JMS是一种与厂商无关的API,用来访问消息收发系统消息,它类似于JDBC(Java Database Connectivity)。这里,JDBC是可以用来访问许多不同关系数据库的API
-
是由Sun公司早期提出的消息标准,旨在为java应用提供统一的消息操作,包括create、send、receiveo
-
JMS是针对java的,那微软开发了NMS (.NET消息传递服务)
-
特性
- 面向Java平台的标准消息传递API
- 在Java或JVM语言比如Scala、Groovy中具有互用性
- 无需担心底层协议
- 有queues和topics两种消息传递模型
- 支持事务、能够定义消息格式(消息头、属性和内容)
-
常见概念
- JMS提供者︰连接面向消息中间件的,JMS接口的一个实现,RocketMQ,ActiveMQ,Kafka等等
- JMS生产者(Message Producer):生产消息的服务
- JMS消费者(Message Consumer):消费消息的服务
- JMS消息:数据对象
- JMS队列:存储待消费消息的区域
- JMS主题:一种支持发送消息给多个订阅者的机制
- JMS消息通常有两种类型:点对点(Point-to-Point)、发布/订阅(Publish/Subscribe)
高级消息队列协议AMQP介绍和MQTT拓展
简介:介绍什么是AMQP高级消息队列协议和MQTT科普
-
背景
- JMS或者NMS都没有标准的底层协议,它们可以在任何底层协议上运行,但是API是与编程语言绑定的,AMQP解决了这个问题,它使用了一套标准的底层协议
-
什么是AMQP
- AMQP (advanced message queuing protocol)在2003年时被提出,最早用于解决金融领不同平台之间的消息传递交互问题,就是是一种协议,兼容JMS
- 更准确说的链接协议binary- wire-level-protocol直接定义网络交换的数据格式,类似http
- 具体的产品实现比较多,RabbitMQ就是其中一种
-
特性
- 独立于平台的底层消息传递协议
- 消费者驱动消息传递
- 跨语言和平台的互用性、属于底层协议
- 有5种交换类型direct,fanout,topic,headers,system
- 面向缓存的、可实现高性能、支持经典的消息队列,循环,存储和转发
- 支持长周期消息传递、支持事务(跨消息队列)
-
AMQP和JMS的主要区别
- AMQP不从API层进行限定,直接定义网络交换的数据格式,这使得实现了AMQP的provider天然性就是跨平台
- 比如Java语言产生的消息,可以用其他语言比如python的进行消费
- AQMP可以用http来进行类比,不关心实现接口的语言,只要都按照相应的数据格式去发送报文请求,不同语言的client可以和不同语言的server进行通讯
- JMS消息类型:TextMessage/ObjectMessage/StreamMessage等
- AMQP消息类型: Byte[]
-
科普:大家可能也听过MQTT
-
MQTT:消息队列遥测传输(Message Queueing Telemetry Transport )
-
背景:
- 我们有面向基于Java的企业应用的JMS和面向所有其他应用需求的AMQP,那这个MQTT是做啥的?
-
原因
- 计算性能不高的设备不能适应AMQP上的复杂操作
- MQTT它是专门为小设备设计的MQTT主要是是物联网(IOT)中大量的使用
-
- 特性
- 内存占用低,为小型无声设备之间通过低带宽发送短消息而设计
- 不支持长周期存储和转发,不允许分段消息(很难发送长消息)
- 支持主题发布-订阅、不支持事务(仅基本确认)
- 消息实际上是短暂的(短周期)
- 简单用户名和密码、不支持安全连接、消息不透明
架构师的解决方案-业界主流消息队列和技术选型讲解
-
简介:对比当下主流的消息队列和选择问题
-
业界主流的消息队列: Apache ActiveMQ、Kafka、RabbitMQ、RocketMQ
-
ActiveMQ::activemq.apache.org/
- Apache出品,历史悠久,支持多种语言的客户端和协议,支持多种语言Java,.NET,C++等
- 基于JMS Provider的实现
- 缺点︰吞吐量不高,多队列的时候性能下降,存在消息丢失的情况,比较少大规模使用
-
Kafka: kafka.apache.org/
- 是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理大规模的网站中的所有动作流数据(网页浏览,搜索和其他用户的行动),副本集机制,实现数据冗余,保障数据尽量不丢失;支持多个生产者和消费者
- 类似MQ,功能较为简单,主要支持简单的MQ功能
- 缺点:不支持批量和广播消息,运维难度大,文档比较少,需要掌握Scala
-
RocketMQ: rocketmq.apache.org/
- 阿里开源的一款的消息中间件,纯Java开发,具有高吞吐量、高可用性、适合大规模分布式系统应用的特点,性能强劲(零拷贝技术),支持海量堆积,支持指定次数和时间间隔的失败消息重发,支持consumer端tag过滤、延迟消息等,在阿里内部进行大规模使用,适合在电商,互联网金融等领域使
- 基于JMS Provider的实现
- 缺点:社区相对不活跃,更新比较快,纯java支持
-
RabbitMQ: www.rabbitmq.coml
- 是一个开源的AMQP实现,服务器端用Erlang语言编写,支持多种客户端,如:Python、Ruby、.NET、Java、C、用于在分布式系统中存储转发消息,在易用性、扩展性、高可用性等方面表现不错
- 缺点:使用Erlang开发,阅读和修改源码难度大
-
-