专家探讨云原生是否已是AI原生时代。重点是推理而非聊天机器人。WebAssembly助推边缘安全推理。AI大数据挑战可观测性。基础设施需深入理解GPU,高效管理,应对电力难题。
译自:From Cloud Native To AI Native: Where Are We Going?
作者:Heather Joslyn
云原生时代是否已完全演变为AI原生时代?如果是,这对云原生和AI技术的未来意味着什么?这些是一个专家小组本月早些时候在亚特兰大举行的北美KubeCon + CloudNativeCon大会上讨论的问题。
此次活动是The New Stack标志性煎饼早餐会之一,由Dynatrace赞助。TNS创始人兼出版商Alex Williams深入探讨了小组成员在快速变化的时代中当前痴迷的问题。
对于Cloud Native Computing Foundation新任执行董事Jonathan Bryce来说,推理最近占据了他大量的注意力。
“未来的AI原生公司会是什么样子?因为它们不会都只是聊天机器人,”Bryce说,“如果你只看基本原理,以及如何构建各种形式的AI生产力,你就必须拥有模型,将大型数据集转化为智能,然后你必须拥有推理层,用这些模型来回答问题、做出预测。”
他补充说:“在某种程度上,我们似乎跳过了这一层,”因为现在的注意力都集中在聊天机器人和代理上。
“就我个人而言,我一直是个管道工,一个基础设施方面的人,而推理是我的痴迷。”
Fermyon Technologies高级软件工程师Kate Goldenring表示,随着组织越来越依赖边缘计算和个性化网站,推理正变得重要起来。Fermyon专注于的WebAssembly技术,可以帮助那些因为需要快速推理而不得不进行“额外跳跃”的用户。
Goldenring指出:“有一些接口,你可以将你的模型与WebAssembly组件打包,然后将其部署到带有GPU的硬件上,直接进行推理和其他类型的AI计算,并将其全部捆绑和安全地提供。”
“每当出现一项新技术,接下来的问题就是,我们如何才能真正、真正快速地使用它?然后是接下来的问题,我们如何安全地进行?而WebAssembly通过沙盒化这些执行提供了这样做的机会。”
可观测性与基础设施
安全问题引出了可观测性。据Dynatrace首席产品营销经理Sean O’Dell称,AI使用和生成的海量数据对我们如何在AI原生时代处理可观测性具有重大影响。
O’Dell说:“如果您已经以预测方式训练数据八、九、十年了,我们就有能力在这种情况下,在推理之上添加大型语言模型和智能。”
他说,这种“附加价值”既有优点也有缺点。“从可观测性的角度来看,能够至少说我们拥有这些信息是非常好的。然而,另一方面,它是大量数据。所以现在出现了一个根本性的转变,我需要什么才能获得关于终端用户的正确信息?”
Mirantis首席技术官Shaun O’Meara表示,云原生时代和AI原生时代之间最大的区别之一在于基础设施。“我们总是忘记的一点是,所有这些东西总得有个地方运行,”他说,“我们必须编排所有这些组件运行的基础设施。”
他指出,他正在注意的一个大趋势是,“我们正在远离我们开始接受为云原生常态的抽象。你知道,我们使用公有云。我们运行我们的工作负载。我们不知道其下层是什么基础设施。对于在GPU上运行的工作负载,我们必须了解深层基础设施,”包括网络速度和性能。
“当我们开始审视在这些平台上运行的所有这些出色工具时,我们有必要记住要安全地运行它们,要高效,要高效地管理基础设施。”
O’Meara说,这将是未来几年的关键挑战之一。“我们有电力问题。运行这些数据中心的电力正在耗尽,我们正在尽可能快地建设它们。我们必须高效地管理基础设施。”
查看完整录音,听专家小组深入探讨“AI原生”时代将带来的问题、机遇和挑战。