作者介绍:简历上没有一个精通的运维工程师。请点击上方的蓝色《运维小路》关注我,下面的思维导图也是预计更新的内容和当前进度(不定时更新)。
中间件,我给它的定义就是为了实现某系业务功能依赖的软件,包括如下部分:
Web服务器
代理服务器
ZooKeeper
Kafka(本章节)
-
Kafka简介和入门,主要介绍什么是Kafka,以及里面涉及到相关概念介绍。
-
Kafka安装,单机版和集群版本,并重点介绍集群版和ZooKeeper区别。
-
Kafka主题(Topic),介绍的是Topic的基本功能和基本操作(增删改查)。
-
Kafka-分区(Partition)和副本(Replica),分区就是把内容读写分成多份,提高效率,副本则是提高分区的可用性。
-
Kafka-Leader分区(AR +ISR + OSR),Leader负责读写,和Leader同步的就叫ISR,默认只有ISR才可以在宕机以后当选Leader。
-
Kafka-生产者(Producer),生产者负责向Kafka发送消息,有几种消息确认可以选择。
-
Kafka-消费者(Consumer)和消费者组(Consumer Group),通过消费者组进行控制消息的的消费,可以实现根据需要重复消费和不重复消费。
-
Kafka-分布式日志存储系统的设计与高吞吐实践,Kafka数据的存储逻辑。
-
Kafka-为什么这么快(顺序读写),顺序读写是利用的硬件的特性来实现Kafka的高速读写。
-
Kafka-为什么这么快(零拷贝Zero-Copy),零拷贝则是利用Linux内核来实现高速读。
-
Kafka-元数据存储(ZooKeeper),介绍元数据在ZooKeeper里面存储基本情况。
-
Kafka-监控(Monitor),针对云原生的监控,通过暴露Prometheus所需要的http指标。
-
Kafka-监控(Kafka Manager),针对单独的Kafka的监控或者管理。
-
Kafka-日常运维命令,利用Kafka给我们的脚本对Kafka进行日常运维管理。
-
Kafka-案例(Broker节点宕机恢复过程),分享了一篇历史文章,介绍Broker节点的启动&重启过程。
-
Kafka-扩容节点(Broker)和分区(Partition),生产环境中可以用到的扩容方案。
-
Kafka-案例-异常分区(Partion)修复,故障&异常分区的修复。
-
Kafka-异构数据库迁移(MYSQL迁移PG),提高一个思路,可以把数据从MYSQL迁移到PG。
-
Kafka-总结篇
运维小路
一个不会开发的运维!一个要学开发的运维!一个学不会开发的运维!欢迎大家骚扰的运维!
关注微信公众号《运维小路》获取更多内容。