【走进消息队列|青训营笔记】

69 阅读2分钟

这是我参与【第五届青训营】伴学笔记创作活动的第六天。

一、本节课的主要内容

包括四个大方面,分别是前世今生、消息队列-Kafka、消息队列-BMQ、消息队列-RocketMQ。

二、详细知识点介绍

    

 Kafka :分布式的、分区的、多副本的日志提交服务,在高香吐场发挥较为出色

 

 RocketMQ :低延迟、强一致、高性能、高可靠、万亿级容量和灵活的可扩展性,在一些实时场景中运用较广

 Pulsar :是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体、采用存算分离的架构设计

 BMQ :和 Pulsar 架构类似,存算分离,初期定位是承接高吞吐的离线业务场景,逐步替换掉对应的 Kafka 集群

 

 

三、实践练习例子

数纹据校验: CRC ,参数是否合法

 会把数据放入 Buffer 中

通过一个异步的 Write Thread 线程将数据最终写入到底层的存储系统当中

尽国很售 y 但如果在下一次 flush 前发生岩机了,这个时候数据就有可能去失「后者的话,因为数新已经与人了存研系析,这个时候也不毒要担心数据丢失,相应的来说香叶就会小一 H ,而不甘江任服的优势,因为只

 ndex 建立好以后,会 save 一次 checkpoint ,也就表示, checkpoint 后的数据是可以被消费的辣,我们想一下,如果没有 checkpoint 的情况下会发生什么问题,如果 flush 完成之后岩机, indexd 还没有建立,这个数据是不应该被消费的最后当文件到达一定大小之后,需要建立一个新的 segment 文件来写入

 

四。、课后个人总结

 学完课程后,让我对消息队列有了更加清晰和深刻的理解。对后端这个岗位有了更清晰的了解。了解到了后端发展的历程,扩宽了我的知识面。