Ray框架
2篇文章 · 0订阅
  • Ray -分布式计算框架架构设计详解 v2
    2022年12月28日 72 min read 架构 综述 Ray 是一个为了给分布式提供通用的 API 发明出来的分布式计算框架，希望通过简单但通用的抽象编程方式，让系统自动完成所有的工作。Ray
    架构
  • 基于 Ray 的大规模离线推理
    大模型离线推理，是指在具有数十亿或数千亿参数的大规模模型上进行分布式推理的过程。相较于常规模型推理，在模型切分、数据处理和数据流、提升 GPU 利用率方面面临了很大挑战。
    分布式 云原生