字节跳动云原生计算

火山引擎自研消息中间件——云原生消息引擎（BMQ）正式公测，100% 兼容 Apache Kafka 协议，欢迎申请公测！

第四届 China Apache Hadoop Meetup 将于 2022年9月24日 在上海举办。

StateBackend 作为 Flink 向上提供 State 能力的基石，其性能会严重影响任务的吞吐。本次分享主要介绍在字节跳动内部通过为 StateBackend 提供通用缓存层，来提高性能的相

复杂查询 QPS 破百，字节跳动 Flink OLAP 助力 ByteHTAP 亮相数据库顶会 VLDB。

文章由火山引擎云原生计算产品经理-付振雄在 2022 全球互联网架构大会（GIAC）上的演讲整理而成。

字节跳动的大数据业务和底层运算能力近年来发展迅速，本文介绍了字节跳动在流式计算和批式计算方面的重大演进以及最佳实践。

2021 年，字节跳动旗下产品总 MAU 已超过 19 亿。在以抖音、今日头条、西瓜视频等为代表的产品业务背景下，强大的推荐系统显得尤为重要。

本文介绍了字节跳动在维护 HDFS 服务时，采用横跨多个机房的联邦大集群部署模式的业务背景与设计演进。

作为目前字节跳动内部存储量及集群规模最大的分布式存储系统，HDFS 一直伴随着字节跳动关键业务的飞速扩张而快速发展。本文从 HDFS 发展历程入手，介绍发展路径上的重大挑战及解决方案。

曾经的架构无法满足字节跳动日趋复杂化的业务需求和日益增长的数据存储成本，本篇文章介绍了字节跳动如何基于 Iceberg 解决业务痛点，通过二次开发缓解上述问题。

突破云上存储新边界，火山引擎推出大数据文件存储（CloudFS），高性能、低成本、多场景的大数据文件存储产品，免费公测中！

字节跳动自研了 Cloud Shuffle Service，提供比大数据计算引擎常用的 Pull-Based Sort Shuffle 方案稳定性更好、性能更高、更弹性的数据 Shuffle 能力。

Slot 是 Flink 集群管理资源的最小单位，也是 Flink 作业申请和释放资源的单位。本文主要介绍字节跳动 Flink 基于 Slot 的资源管理、作业资源申请以及释放流程。

本文介绍了字节跳动在 Flink 状态查询方面所进行的优化，解决了查询 Flink 任务状态时开发成本高、无法查询状态元信息等问题，提出了 State Query on Flink SQL 的解决方案

本文介绍了字节跳动在实时计算方面对 Flink 进行的两个实践优化，一是在 Network 层的单点恢复的功能，二是 Checkpoint 层的 Regional Checkpoint。

本文主要分享字节跳动在使用 Flink State 上的实践经验，内容包括 Flink State 相关实践以及部分字节内部在引擎上的优化，希望可以给 Flink 用户的开发及调优提供一些借鉴意义。

HTAP 是混合 OLTP 和 OLAP 的计算系统，在字节采用 Flink 作为 OLAP 执行引擎。本文将介绍 Flink 在支持 OLAP 需求时遇到的作业调度与查询执行的挑战及优化。

近期，诸多行业大会围绕大数据容器化相关话题展开讨论。字节跳动云原生计算团队也将在以下大会中进行演讲直播，欢迎关注。

字节跳动云原生计算团队支持字节各条业务线，为诸多核心业务场景和中台体系提供存储、计算、资源调度等底层支撑，期待你的加入！