首页
沸点
课程
数据标注
HOT
AI Coding
更多
直播
活动
APP
插件
直播
活动
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
登录
注册
确定删除此收藏集吗
删除后此收藏集将被移除
取消
确定删除
确定删除此文章吗
删除后此文章将被从当前收藏集中移除
取消
确定删除
编辑收藏集
名称:
描述:
0
/100
公开
当其他人关注此收藏集后不可再更改为隐私
隐私
仅自己可见此收藏集
取消
确定
消息队列
订阅
最爱小雅的树为
更多收藏集
微信扫码分享
微信
新浪微博
QQ
11篇文章 · 0订阅
关于 Kafka 的一些面试题目
上周客串了一下面试官,在这里就简单记录一下期间我问到的一些关于Kafka的面试题目,这些都是我平时在学习Kafka的一些总结要点。谈谈你对kafka的整体认识?问这个问题主要是想知道面试者对Kafka
关于MQ的几件小事(一)消息队列的用途、优缺点、技术选型
(1)解耦:可以在多个系统之间进行解耦,将原本通过网络之间的调用的方式改为使用MQ进行消息的异步通讯,只要该操作不是需要同步的,就可以改为使用MQ进行不同系统之间的联系,这样项目之间不会存在耦合,系统之间不会产生太大的影响,就算一个系统挂了,也只是消息挤压在MQ里面没人进行消费…
《我们一起进大厂》系列-分布式事务、重复消费、顺序消费
没错小伙子还是我,上次话说一半你就溜了,这次我非得好好的问问你。 消息重复消费是使用消息队列之后,必须考虑的一个问题,也是比较严重和常见的问题,帅丙我在开发过程中,但凡用到了消息队列,我第一时间考虑的就是重复消费的问题。 就比如有这样的一个场景,用户下单成功后我需要去一个活动页…
消息中间件—Kafka 的设计思想
设计 kafka 初衷,作为统一平台处理大公司的实时数据。所以 必须具有如下特性: kafka 高度依赖 文件系统 存储和缓存消息。通过对磁盘的顺序读写,并借助 OS 层面的 页缓存(page cache),保证优于缓存在内存中或其他结构中。 利用磁盘的顺序读写,操作一个文件,…
关于MQ的几件小事(七)如果让你设计一个MQ,你怎么设计
(1)首先这个mq得支持可伸缩性吧,就是需要的时候快速扩容,就可以增加吞吐量和容量,那怎么搞?设计个分布式的系统呗,参照一下kafka的设计理念,broker -> topic -> partition,每个partition放一个机器,就存一部分数据。如果现在资源不够了,简单…
关于MQ的几件小事(六)消息积压在消息队列里怎么办
场景: 几千万条数据在MQ里积压了七八个小时,从下午4点多,积压到了晚上很晚,10点多,11点多。线上故障了,这个时候要不然就是修复consumer的问题,让他恢复消费速度,然后傻傻的等待几个小时消费完毕。这个肯定不行。一个消费者一秒是1000条,一秒3个消费者是3000条,一…
关于MQ的几件小事(五)如何保证消息按顺序执行
消息队列中的若干消息如果是对同一个数据进行操作,这些操作具有前后的关系,必须要按前后的顺序执行,否则就会造成数据异常。举例: 比如通过mysql binlog进行两个数据库的数据同步,由于对数据库的数据操作是具有顺序性的,如果操作顺序搞反,就会造成不可估量的错误。比如数据库对一…
关于MQ的几件小事(四)如何保证消息不丢失
数据不能多,也不能少,不能多是说消息不能重复消费,这个我们上一节已解决;不能少,就是说不能丢失数据。如果mq传递的是非常核心的消息,支撑核心的业务,那么这种场景是一定不能丢失数据的。 丢数据一般分为两种,一种是mq把消息丢了,一种就是消费时将消息丢了。下面从rabbitmq和k…
关于MQ的几件小事(二)如何保证消息队列的高可用
RabbitMQ基于主从模式实现高可用。RabbitMQ有三种模式:单机模式,普通集群模式,镜像集群模式。 单机模式就是demo级别的,生产中不会有人使用。 普通集群模式就是在多台机器上启动多个rabbitmq实例,每个机器启动一个。但是创建的queue只会放在一个rabbit…
关于MQ的几件小事(三)如何保证消息不重复消费
简单来说,幂等性就是一个数据或者一个请求,给你重复来了多次,你得确保对应的数据是不会改变的,不能出错。 (1)首先,比如rabbitmq、rocketmq、kafka,都有可能会出现消息重复消费的问题。因为这个问题通常不是由mq来保证的,而是消费方自己来保证的。 kafka有一…