示说网-Apache Pulsar Meetup上海技术交流

207 阅读4分钟
原文链接: www.slidestalk.com

背景

    今年十月,我们在北京举办了国内首场Apache Pulsar Meetup,为社区小伙伴讲解了Apache Pulsar的技术细节,以及Pulsar在生产线上的生产实践,现场反响热烈。为了响应上海小伙伴的号召,以及让更多开发者接触和了解Pulsar,Streamlio再次联合智联招聘、示说网,把Apache Pulsar Meetup带到上海。

    这次的Meetup,除了整体介绍Apache Pulsar之外,智联招聘的小伙伴们还带来了他们全新的生产经验,以及 Pulsar+Flink在智联搜索推荐中的应用,同时Streamlio的小伙伴将会详细讲述怎么使用Pulsar打造实时数据Pipeline,为大家解构Pulsar强大的生态组件 - Functions/IO, Schema 以及最新发布的Pulsar SQL。

    希望通过半天时间,能满足您对Apache Pulsar的所有好奇。期待上海的小伙伴们来撩。

议程安排

13:00 - 13:30 ········· 活动签到
13:30 - 14:30 ········· Cloud-Native Messaging & Streaming with Apache Pulsar 
14:30 - 15:10 ········· Apache Pulsar在智联搜索推荐中的应用 
15:10 - 15:30 ········· 茶歇 & 自由交流
15:30 - 16:20 ········· Database Streaming with Apache Pulsar - Connector, Schema and SQL 
16:20 - 17:00 ········· Apache Pulsar实践经验以及社区参与总结
17:00 - 17:30 ········· 自由交流

直播链接

点击会议视频直播

议题及嘉宾介绍

议题一:Cloud-Native Messaging & Streaming with Apache Pulsar

翟佳 | Streamlio创始团队成员, Apache Pulsar / BookKeeper PMC成员 

内容简介:Apache Pulsar 是下一代分布式消息和流数据平台。 它于 2016 年由雅虎开源,并于 2018年成为 Apache 顶级项目。Apache Pulsar 目前已被广泛采用在各大互联网关键业务,比如在线业务服务,流计算,实时交互式分析等。  本次分享将全面介绍 Apache Pulsar,包括Yahoo为什么要创建Pulsar,Pulsar跟其他系统的同之处,它如何使用云原生技术解决使用和运维过程中碰到的各种痛点,以及Pulsar在2.0之后加入的大量流相关特性,和目前社区的状况以及相应的应用场景。

议题二:Apache Pulsar在智联搜索推荐中的应用

李世明 | 智联招聘平台架构组工程师 

内容简介:智联简历职位搜索的数据有上亿条,需要支持所有职位、简历的数据变更实时同步到和搜索和推荐服务。所以需要寻找一个强大的消息系统,来支撑每天大量的职位、简历的更新、刷新,和一些商业事件。 通过Apache Pulsar的租户模式可以方面管理每个业务端的对接。Pulsar的高可用、一致性、签收机制以及其他特性非常便捷的满足了搜索推荐服务的要求。 本次Talk主要分享Pulsar在智联的搜索推荐的应用。 

议题三:Database Streaming with Apache Pulsar - Connector, Schema and SQL

郭斯杰 | Streamlio联合创始人,Apache Pulsar / BookKeeper PMC成员 

内容简介:批量模式的ETL Pipelines是将数据从OTLP数据库导入到OLAP数据库的常用方案。但是这种方式并不适合对于实时数据分析有强烈需求的用户场景。因此,针对于有实时数据分析需求的用户场景,越来越多的企业开始使用CDC(Change Data Capature)和消息中间件打造流式的数据Pipeline。 
本次演讲将以Apache Pulsar为例,分享一下如何基于Pulsar打造流式的数据Pipeline。这其中将介绍Pulsar的三个生态组件:IO Connectors,Schema,以及Pulsar SQL;以及如何将这三个组件串联在一起: 
-使用Pulsar的CDC Connector将数据库的Changes抓取到Pulsar中 
-使用Pulsar内嵌的Schema来管理这些CDC数据的Schema 
-使用Pulsar SQL进行交互式的实时查询 

议题四:Apache Pulsar实践经验以及社区参与总结

李鹏辉 | 智联招聘平台架构组工程师,Pulsar Contributor 

内容简介:经过Apache Pulsar在智联投入生产环境的4个多月,从最初每天3000万的消息量到10亿+消息量。智联总结了一些线上实践经验以及一些最佳实践方案。合理的在不同的场景使用Pulsar以及各个场景需要注意的方方面面。 结合智联的需求我们也在不断的为社区做贡献,积极参与社区讨论。智联也为社区贡献了一些重要的特性比如Client Interceptors,Dead Letter Topic等。 本次Talk主要分享Pulsar在智联的实践以经验以及如何参与社区。

合作伙伴



现场微信群

foo

也可以关注右侧公众号,联系社区助理加技术讨论群。