干货满满,腾讯云+社区技术沙龙 Kafka Meetup 深圳站圆满结束

364 阅读4分钟
原文链接: cloud.tencent.com

云+导语:4月22日,由腾讯云和 Kafka 社区主办、开源中国协办的腾讯云+社区技术沙龙 Kafka Meetup 深圳站在腾讯大厦举行,本次活动全程干货满满,不仅有 Kafka 的前世今生及展望,也有对 Kafka 技术架构的深入解析,同时还有基于 Kafka 的应用平台的相关开发与运维实践。活动异常火爆,现场近三百人参与交流,不少参会者表示活动质量很高,不虚此行。

现场听众

Apache Kafka 的过去、现在和未来

2010年,LinkedIn 着手开发 Kafka,到2011年 Kafka 进入 Apache 孵化器,成为世界顶级开源项目,并迅速被各种企业采用。据分析,目前已经有超过70%的世界500强公司在使用 Kafka。Kafka 主要作者、项目委员会主席及 Confluent 联合创始人饶军首先为大家带来了《Apache Kafka 的过去、现在和未来》的分享,介绍了 Kafka 这一路的各个关键节点及展望。他认为“Kafka 未来不仅仅是一个实时数据收集和传输系统,随着接下来的发展,它更偏向于成为一个实时数据流处理、交换和共享的平台。”

饶军:Apache Kafka 的过去、现在和未来

Kafka 集群自动化运营实践

腾讯基础架构部高级工程师杨原分享了《Kafka 集群自动化运营实践》,他介绍了腾讯云 CKafka 系统在自动化运营时,需要面对的大规模 Kafka 集群故障节点移除、新节点加入、节点间数据倾斜、用户所需 Kafka 实例动态升降配与 Borker 资源利用率不均衡等问题,同时也给出了腾讯的相应解决方案。

杨原:Kafka 集群自动化运营实践

知乎基于 Kubernetes 的 Kafka 平台的设计和实现

下一位分享嘉宾白瑜庆是来自知乎技术中台的负责人,他带来的是《知乎基于 Kubernetes 的 Kafka 平台的设计和实现》,分享了 Kafka 在知乎的应用,以及为何要基于 K8S 做 Kafka 平台,具体是如何去做这样一个平台的。据白瑜庆介绍,知乎在日志、数据传输与消息队列服务中应用了 Kafka,Kafka 已成了知乎技术平台中的重要组件,目前已经平稳运行了2年。

白瑜庆:知乎基于 Kubernetes 的 Kafka 平台的设计和实现

随后茶歇环节,参会者围绕着分享嘉宾纷纷提问,现场气氛活跃,技术氛围浓厚。

茶歇提问

CKafka 在人脸识别 PaaS 中的应用

回到下半场分享,首先是格灵深瞳深瞳云数据流研发负责人陈新宇带来《CKafka 在人脸识别 PaaS 中的应用》。格灵深瞳的大规模图片人脸识别服务使用了经过腾讯云优化的 CKafka,应用在业务数据导入、缓存、输出以及监控与日志收集等各个环节,连接了各个数据处理模块,为实时的人脸特征提取、比对及分析提供了保障,是图片流实时人脸识别平台的核心。陈新宇从应用层面介绍了 Kafka 在深度学习人脸识别平台架构中的位置及重要性,并介绍了一些 connect 等 Kafka 生态组件的应用与遇到的问题。

陈新宇:CKafka 在人脸识别 PaaS 中的应用

Kafka 高性能解密及优化

最后腾讯云基础架构部高级工程师闫燕飞分享了《Kafka 高性能解密及优化》,深度解析了 Kafka 的技术架构,并从存储与消息格式等方面分享了 Kafka 高性能的原因,同时对优化其性能也提出了一些见解。

闫燕飞:Kafka 高性能解密及优化

腾讯云+社区技术沙龙 Kafka Meetup 是由腾讯云+社区和 Kafka 社区主办的 Kafka 线下技术分享活动。此次是 Kafka Meetup 第一次在深圳举办,由开源中国协办。活动不仅扩大了 Kafka 开源社区的影响力,也引发了开发者对于 Kafka 的应用场景及未来走向的进一步思考。

现场合影

部分听众
嘉宾合影
部分工作人员与志愿者

现场资料

Apache Kafka的过去,现在,和未来.pdf
kafka-高性能揭秘及优化.pdf
kafka在人脸识别PAAS中的应用.pdf
腾讯云Kafka自动化运营实践.pdf
知乎基于Kubernetes的Kafka平台的设计和实现.pdf