大牛呕心力作——Kafka开发实战,助你徜徉大数据时代

78 阅读3分钟

前言

随着大数据时代的到来,数据中蕴含的价值日益得到展现,仿佛一座待人挖掘的金矿, 引来无数的掘金者。但随着数据量越来越大,如何实时准确地收集并分析数据成为摆在所有从业人员面前的难题。

而这时,kafka的出现算是解决了这个问题。

Kafka的核心功能是什么?一言以蔽之,高性能的消息发送与高性能的消息消费。接下来咱们就进入kafka世界,深入实战探讨kafka实战开发。

kafka实战

本书是涵盖ApacheKafka各方面的具有实践指导意义的工具书和参考书。作者结合典型的使用场景,对Katka 整个技术体系进行了较为全面的讲解,以便读者能够举一反三,直接应用于实践。同时,本书还对Kafka的设计原理及其流式处理组件进行了较深人的探讨,并给出了详实的案例。

本书适合所有对云计算、大数据处理感兴趣的技术人员阅读**+XXX_WWW666666获取**尤其适合对消息引擎、流式处理技术及框架感兴趣的技术人员参考阅读。

第一章:初识Kafka

第1章全面介绍消息引擎系统以及Kafka的基本概念与特性,快速带领读者走进Kafka的世界;

  • Kafka快速入门

  • 消息引擎系统

  • Kafka概要设计

  • Kafka基本概念与术语

  • Kafka使用场景

  • 本章小结

第二章:Kafka发展历史

第2章简要回顾了Apache Kafka 的发展历史;第3章详细介绍了Kafka集群环境的搭建;

  • Kafka的历史

  • Kafka版本变迁

  • 如何选择Kafka版本

  • Kafka与Confluent

  • 本章小结

第三章:Kafka线上环境部署

第3章详细介绍了Kafka集群环境的搭建;

  • 集群环境规划

  • 伪分布式环境安装

  • 多节点环境安装

  • 验证部署

  • 参数设置

  • 本章小结

第四章:producer开发

第4、5章深入探讨了Kafka客户端的使用方法;

  • producer概览

  • 构造producer

  • 消息分区机制

  • 消息序列化

  • producer拦截器

  • 无消息丢失配置

  • 消息压缩

  • 多线程处理

  • 旧版本producer

  • 本章小结

第五章:consumer开发

  • consumer概览

  • 构建consumer

  • 订阅topic

  • 消息轮询

  • 位移管理

  • 重平衡( rebalance )

  • 解序列化

  • 多线程消费实例

  • 独立consumer

  • 旧版本consumer

  • 本章小结

第六章:Kafka设计原理

第6章带领读者一览Kafka内部设计原理

  • broker端设计架构

  • producer端设计

  • consumer端设计

  • 实现精确一次处理语义

  • 本章小结

第七章:管理Kafka集群

第7~9章以实例的方式讲解了Kaka集群的管理、监控与调优

  • 集群管理

  • topic管理

  • topic动态配置管理

  • consumer相关管理

  • topic分区管理

  • Kafka常见脚本工具

  • API方式管理集群

  • MirrorMaker

  • Kafka安全常见问题

  • 本章小结

第八章:监控Kafka集群

  • 集群健康度检查

  • MBean监控

  • broker端JMX监控

  • clients端JMX监控

  • JVM监控

  • OS监控

  • 主流监控框架

  • 本章小结

第九章:优化Kafka集群

  • 引言

  • 确定调优目标

  • 集群基础调优

  • 调优吞吐量

  • 调优延时

  • 调优持久性

  • 调优可用性

  • 本章小结

第十章:Kafka Connect与Kafka Streams

第10章介绍了Kafka 新引入的流式处理组件。

  • 引言

  • Kafka Connect

  • Kafka Streams

  • 本章小结