2022年4月15日,Cerebras 团队发布了 大脑软件平台 CSoft 1.2 版本
该版本最大的亮点是 Cerebras 团队为流行的机器学习框架 PyTorch 提供了支持,并且提供了开创性的“权重流”的执行模式,可以让用户能够尽早访问具有数十亿甚至数万亿参数的极端规模模型的高性能。
Cerebras CS-2 系统由 Wafer-Scale Engine (WSE-2) 提供支持,堪称有史以来最快的AI处理器。它可以数百个GPU的计算能力打包到一台机器上,并让其变成的易于变成。并且可以与 PyTorch 开发人员友好的特性相结合。
扩展的 PyTorch 支持
-
支持上:
CS-2使用了带有XLA的惰性张量后端扩展了对PyTorch 1.10.2的支持,以捕获完整模型图并将其优化映射到WSE-2。 -
用户体验上:
PyTorch接口使用了简单的自定义类 API,让开发人员只需几行代码便可以轻松地在CS-2上运行他们的模型。
另外,此版本还支持了对一组丰富的自然语言处理 (NLP) 模型,例如 BERT 及其变体、GPT2、Transformers、T5 等进行训练、评估和微调,其性能比传统硬件集群高几个数量级。
如果你想了解本次资讯的详细信息,可以参考: medium.com/@cerebras/r…
也欢迎大家在评论区进行相关讨论~