kafka(二)

122 阅读2分钟

持续创作,加速成长!这是我参与「掘金日新计划 · 6 月更文挑战」的第30天,点击查看活动详情

生命不息,学习不止

题外话

人类优于其他物种的一个重要方面是人类学会了思考,所以说在人类的进化道路上,思考是举足轻重的,为了防止大家小脑袋瓜锈住,我打算每天出一道题让大家好好的思考一下。

每日一题:诗仙李白大家应该都不陌生,毕竟李杜诗篇万口传,至今已觉不新鲜,李白写了很多很多的诗,我很好奇李白他能背下来自己写的所有诗嘛?

废话不多说,上货!

正文

在这里插入图片描述

上回说了更换消息队列的一个原因是beanstalk不支持主备同步,那我们今天说说其他原因。

更换原因

除了beanstalk不支持主备同步这一个原因已外,beanstalk没有故障切换机制也是非常大的一个痛点。

举个例子:加入一个消费队列中,一个消费者挂了,不好使了,此时需要故障切换机制生效,将剩下的任务分发给其余的消费者,同时还要保证数据不丢失。

这就是故障切换应该起的作用了。

还有一点就是集群中的扩展性了,beanstalk只能手动去扩展,单机部署多实例的方式,有点笨

kafka简介

kafka知名度很高了,总是拿来和MQ什么的比较,大家基本没用过也听说过。

Kafka是一个多用于分布式系统中、基于zookeeper协调的分布式消息系统,并且支持分区(partition)、多副本 (replica),因其可水平扩展和高吞吐率而被广泛使用(很厉害,不要再吹了,头大)

支持水平扩展这一点很重要

高吞吐量能有多高呢,支持单机每秒能达到100k以上的数据量

有人可能对这个没有概念,我们计算一下,单机每秒100k,我只部署两台,一天的吞吐就是100k*606024*2 = 17,280,000K

转换成t就是17,280,000K / 1024 /1024 = 16.4794

也就是说一天就可以吞吐16.5T的数据量,这一下子是不是就很客观了

下一篇我们来讲讲kafka中一些基础的定义。

在这里插入图片描述

大家看完发现有什么错误,写在下面吧!跟我黑虎阿福比划比划! 在这里插入图片描述