从消息到数据湖:看 Apache RocketMQ、Hudi、Kyuubi 最新进展

4,908 阅读3分钟

上海的开发者小伙伴们,12 月 18 号,Apache RocketMQ & Apache Hudi & Apache Kyuubi (Incubating)三社区 Meetup 来了,打造最强消息传输、实时计算、数据入湖一体化解决方案专场。

本场活动聚焦 Apache RocketMQ 及 Hudi,Kyuubi 数据湖结合,帮助开发者能更好地应对业务挑战。活动将邀请喜马拉雅、平安证券、网易、阿里云的众多技术专家,共同为大家分享 Apache RocketMQ with hudi & Kyuubi 实践与应用。

RocketMQ12:18.png

相关项目介绍

Apache RocketMQ

Apache RocketMQ 是由阿里巴巴开源的消息产品,历经多年双十一流量洪峰严苛考验,具有低延迟、高性能、高可靠性、万亿级容量和灵活的可扩展性。目前,全球超过上万家企业都在使用 Apache RocketMQ,不仅包括字节、快手、小米、滴滴、同城艺龙等来自互联网的头部企业,也包括来自于头部银行、券商、保险,基金等一系列要求极为严苛的金融公司。

Apache RocketMQ 经过过去几年的发展,已经成为微服务领域业务消息的首选,伴随着云原生时代的到来以及实时计算的兴起, 生于云、长于云的 Apache RocketMQ 5.0 应运而生,全新升级为云原生消息、事件、流融合处理平台,帮助用户更容易地构建下一代事件驱动和流处理应用。

Github 地址: github.com/apache/rock…

Apache Hudi

Apache Hudi 是 Apache 软件基金会顶级项目,是新一代的流式数据湖平台,支持数据插入、更新、删除和增量数据处理;可助力构建高效的企业级数据湖。

GitHub 地址: github.com/apache/hudi

Apache Kyuubi(Incubating)

Apache Kyuubi (Incubating)是一个 Thrift JDBC/ODBC 服务,目前对接了 Apache Spark 计算框架,支持多租户和分布式等特性,可以满足企业内诸如 ETL、BI 报表等多种大数据场景的应用。Kyuubi 可以为企业级数据湖探索提供标准化的接口,赋予用户调动整个数据湖生态的数据的能力,使得用户能够像处理普通数据一样处理大数据。项目已于 2021 年 6 月 21 号正式进入 Apache 孵化器。从社区当前阶段的发展目标来看,它的主要方向是依托本身的架构设计,围绕各类主流计算框架,打造一个面向 Serverless SQL on Lakehouse 的服务。Apache Kyuubi (Incubating)是一个 Thrift JDBC/ODBC 服务,目前对接了 Apache Spark 计算框架,支持多租户和分布式等特性,可以满足企业内诸如 ETL、BI 报表等多种大数据场景的应用。Kyuubi 可以为企业级数据湖探索提供标准化的接口,赋予用户调动整个数据湖生态的数据的能力,使得用户能够像处理普通数据一样处理大数据。项目已于 2021 年 6 月 21 号正式进入 Apache 孵化器。从社区当前阶段的发展目标来看,它的主要方向是依托本身的架构设计,围绕各类主流计算框架,打造一个面向 Serverless SQL on Lakehouse 的服务。

Github 地址: github.com/apache/incu…

立即点击此处参与活动吧!

了解更多相关信息,请扫描下方二维码或搜索微信号(AlibabaCloud888)添加云原生小助手!获取更多相关资讯! 二维码.png