字节跳动云原生计算

在日新月异的大数据服务不断涌现的今天，我们可以看到作为数据基础底座的存储服务面临了越来越多的复杂环境和需求的挑战。本次将分享大规模存储架构的应用与实践。

在云原生计算时代，云存储使得海量数据能以低成本进行存储，但是这也给如何访问、管理和使用这些云上的数据提出了挑战。而 Iceberg 作为一种云原生的表格式，可以很好地应对这些挑战。

大模型离线推理，是指在具有数十亿或数千亿参数的大规模模型上进行分布式推理的过程。相较于常规模型推理，在模型切分、数据处理和数据流、提升 GPU 利用率方面面临了很大挑战。

主要介绍在 Paimon SortMergeReader 的多路归并实现中，利用 LoserTree 替换堆排序算法，减少多路归并比较次数的设计思路以及取得的性能收益。

随着机器学习的发展，模型及训练模型所需的数据量越来越大，也都趋向于通过分布式训练实现。而算法工程师通常需要对这些分布式框架涉及到的底层文件存储和调度系统有较深的理解，才能够快速批量开启模型训练。

4月18日，火山引擎春季 FORCE 原动力大会在上海举办。在会上，火山引擎发布了云原生大数据实时计算平台产品——流式计算 Flink 版。

Flink OLAP 是数据仓库系统的重要应用，支持复杂的分析型查询，广泛应用于数据分析、商业决策等场景。

本文整理自抖音电商实时数仓研发工程师张健，在 Flink Forward Asia 实时风控专场的分享。本篇内容主要从 Flink CEP 简介、业务场景与挑战、解决方案实践和未来展望展开介绍。

字节跳动拥有业界领先的 Flink 流式计算任务规模。随着云原生时代的到来，我们开始探索将线上的 Flink 任务从 Hadoop 迁移到 Kubernetes，使得作业云原生化运行。

Flink OLAP 作业 QPS 和资源隔离是 Flink OLAP 计算面临的最大难题，也是字节跳动内部业务使用 Flink 执行 OLAP 计算需要解决的最大痛点。

字节跳动云原生大数据的发展之路、从云原生到大数据，如何打造 AIGC 新引擎、字节跳动云原生大数据运维管理实践

云原生计算与 DataFun 联合出品了云原生大数据知识地图，从理念概述、架构介绍、功能详述、场景及价值等方面对云原生大数据进行了详细解读。

火山引擎流式计算 Flink 版和火山引擎批式计算 Spark 版凭借出色的基础能力、优秀的性能和稳定性及安全能力，分别通过分布式流处理平台基础能力评测、分布式批处理平台基础能力评测。

字节跳动离线训练发展的三个阶段和关键节点，以及云原生离线训练中非常重要的两个部分——计算调度和数据编排，最后将结合前两部分分享字节跳动在实践中沉淀的4个案例。

大数据架构向云原生演进是行业的重要趋势，火山引擎协助关键金融客户在大数据云原生方向进行了深度实践，形成了整体解决方案，本文将分享火山引擎云原生大数据在金融行业的实践。

火山引擎云原生计算团队技术负责人李亚坤接受 InfoQ 专访，详细介绍了过去五年字节跳动在高速发展中历炼出的技术体系与团队，以及当下大数据云原生化的趋势。

本文整理自字节跳动基础架构工程师邵凯阳、林友权在 2022 Hadoop Meetup 上的演讲，文章主要从演进背景、解决方案、上线收益和未来规划四个方面介绍了字节跳动 YARN 云原生化演进实践。

本文整理自火山引擎基础架构研发工程师陶克路、王正在 ApacheCon Asia 2022 上的演讲。文章主要介绍了 Apache Zeppelin 支持 Flink 和 Spark 云原生实践。

Flink Forward Asia 2022 将于 11 月 26-27 日在线上举办，议程内容正式上线！

本文整理自火山引擎云原生实时数仓技术专家汪建锋在 DataFun 现代数据栈在线峰会上的演讲，主要介绍字节跳动流式数仓和实时服务分析的思考与实践。