AI_Infra

2023年上半年，蚂蚁AI Infra团队开源了DLRover项目，致力于通过提升深度学习训练过程的智能性，来解决整个系统的提效问题，目前DLRover支持了蚂蚁深度学习系统中的自动资源动态优化与分布

DLRover 作为云原生的分布式训练系统，提供了弹性和容错功能来提升分布式训练的稳定性。为此我们使用 ChaosBlade 创建各种混沌实验来验证 DLRover 弹性容错的稳定性。

蚂蚁 AI Infra 团队在深度学习最核心之一的优化器方向持续投入与创新，实现了 AI 训练节约资源、加速收敛、提升泛化等目标。我们将推出“优化器三部曲”系列，这是本系列的第一篇。

DLRover 在 Kubernetes 上基于 Torch Elastic 开发了弹性训练功能，实现 PyTorch 分布式训练的自动容错和弹性。

导读 稀疏 CTR 模型是用于预测点击率的一类深度学习模型的统称。通过处理高维稀疏特征数据实现高效的广告点击率预测，准确的 CTR 预测可以更好地进行广告投放决策，提升广告投放效果。在稀疏 CTR 模

蚂蚁集团 AI Infra 团队针对上述问题，构建了一个交互式的规则研发系统——方略，提供了一种在规则研发过程中高效融入专家领域知识的解决方案。

开源之夏是由“开源软件供应链点亮计划”发起并长期支持的一项暑期开源活动，旨在鼓励在校学生积极参与开源软件的开发维护，促进优秀开源软件社区的蓬勃发展，培养和发掘更多优秀的开发者。 活动联合国内外各大开源

DLRover 采用运行时优化思想来对分布式训练作业进行自动扩缩容。DLRover 首先让训练作业跑起来，然后监控训练作业所有节点的负载和整体训练性能，并根据监控指标来动态调整作业的资源，从而提升训练

本文整体介绍了 DLRover 的项目动机与核心能力，未来我们会发布一系列文章，来从同步/异步弹性训练，优化策略服务，多种集群和训练框架对接，策略定制开发等多个角度来介绍 DLRover 的更多细节，