一流科技CEO谈开源 AI:开源推动 AI 标准化和规模化应用

159 阅读3分钟

开源支撑着 AI 的创新与发展,使得 AI 标准化和规模化趋势开始成型。2022 年,AI 产业化进程持续推进,“AI 标准化”“可信 AI”“多样性算力”等话题备受业界关注。此外,Stable DIffusion、ChatGPT 先后掀起的热潮,不禁令人思考,随着 AI 内容生成技术的成熟,AI 技术的普惠化要来了吗?

我们邀请了三名国内开源 AI 领域的专家,为各位开发者解读开源 AI 的发展和流行趋势。

本文选自《2022中国开源开发者报告:前沿开源技术领域解读》,原文作者:袁进辉。

image.png

开源吞噬软件 1.0,“开源 AI ”运动也正在席卷以数据驱动编程为特点的软件 2.0 时代。

从框架开源,数据集、算法开源,再到模型开源,开源极大推动了 AI 在技术、应用等方面的发展。比如,基于开源社区的孵化,2022 年最火热的 Stable Diffusion 模型在不到两个月的时间便流行开来,国内企业和研究机构也迅速跟进,比如 OneFlow 将 Stable Diffusion 的图片生成速度加速到 1 秒以内,IDEA 和智源研究院分别发布了中文版的 Stable Diffusion 和支持多种不同语言的 AltDiffusion。

更重要的是,开源模式使得 AI 标准化和规模化趋势开始成型,从算法的标准化开始,带来了软件标准化的机会,而硬件、技术平台、最佳实践也在标准化。

在 AI 算法模型方面,数据驱动人工智能的算法统一为神经网络,完成了算法的标准化。其中,Transformer 的发展呈现了统一深度学习算法的苗头,而依靠 Transformers 库起家的 HuggingFace 平台已发布超 10 万个开源预训练模型,大大降低了用户使用门槛,而当 AI 模型足够多时会进一步标准化,进而推动 AI 产业化进程。

在开源深度学习框架层面,API 接口正在标准化。其他框架的 API 设计都在学习 PyTorch。而在分布式编程方面,PyTorch 等其他框架的分布式编程接口也参考了 OneFlow 的 Global Tensor、SBP 的设计思路,这也彰显了国产框架的创新性和影响力。

硬件层面,虽然芯片市场打得如火如荼,但 API 设计层面也越来越类似。多数硬件厂商 API 的设计会参考英伟达的软件接口。图编译器层面也有一些通用组件出现,比如 MLIR,越来越多项目开始基于 MLIR 来构建深度学习编译器。

随着深度学习框架和硬件在内的基础设施的标准化,基础平台方面已经出现了 K8S、Docker 这些越来越标准化的解法,有的企业需要弹性扩容,有的需要私有云部署,有的需要扩容到公有云等,这需要多云的支持。通过提炼最佳实践提炼,形成了 MLOps 产品,而这正是工作流程标准化和平台标准化的体现,这也是今年 AI 领域最热门的趋势之一。

开源打破了很多技术壁垒,从框架开源到模型开源,必将进一步推动软件 2.0 时代 AI 技术的普惠化。未来,任何一家传统企业即使没有专业的 AI 科学家,借助这些开源工具和模型也能获得 AI 的能力。


想要了解更多前沿开源技术领域解读,请访问《2022中国开源开发者报告》