某课就业班 python攻城狮

116 阅读4分钟

download:某课就业班 python攻城狮

在2023年第四届中国数据中心绿色能源大会上,由CDCC、益企研讨院、中国智能计算产业联盟结合打造的“算力经济 算网交融”专场备受关注。来自不同范畴的专家、生态同伴、用户共同讨论以算力为中心消费要素的算力根底设备的革新与开展。

大模型需求大算力,当算力和网络的开展呈现一体共生之势时,从算网协同到算网交融,业务需求的变化会经过CPU、GPU、存储等IT设备传导到网络架构层面,即数据中心作为根底设备也会相应的产生自上而下的变化,英伟达网络亚太区高级总监宋庆春受邀列席本次论坛并细致分享了“大模型时期的NVIDIA网络计算”。

以下内容依据现场演讲整理:

说到大模型,首先就要提一下ChatGPT。今年ChatGPT的呈现标志着大模型时期曾经降临了,所以ChatGPT出来以后在全世界掀起了大模型热潮。在这个热潮中最火的几家公司,一个是OpenAI,一个是微软,还有一个公司是Facebook,就是Meta。OpenAI在锻炼它的GPT3的时分,用了几千颗NVIDIA的GPU,花了两年时间最终锻炼出ChatGPT这么一个历史性的模型。在ChatGPT出来以后,OpenAI并没有停下来他们的脚步,不断在持续锻炼它的GPT4,以至也在研讨他们的GPT5。OpenAI和微软协作得十分严密,如今它本人的算力远远不够了,用的就是微软的Azure公有云来锻炼它的新模型。

Meta也在用微软的公有云来锻炼它的大模型,叫OPT。还有在元宇宙应用中的各种模型。Meta除了本人建了多个超越万卡的集群以外,也在用微软的云在锻炼它的模型。

为什么大家都在选择微软的Azure云来锻炼他们的大模型呢?用微软的CTO一句话来讲,在微软的Azure云上有三个关键技术,能确保Azure的AI云能提供全世界最好的大模型的锻炼性能。在这里其中有两个要素跟网络相关,一个是NVIDIA的NVLink网络,一个就是NVIDIA的InfiniBand网络。所以今天我们的重心会放在网络上来停止讨论。

在几周前的Computex2023上,NVIDIA的CEO黄仁勋提出了将来数据中心市场的走向,数据中心正在往云的方向转型。将来数据中心会走向三个方向:第一个是传统的云,由于我们有很多传统业务需求传统的云来提供效劳;第二个是生成式AI云,由于如今AI业务变得越来越多,我们的生活曾经离不开AI了,为我们的用户提供AI云的效劳,需求有十分强大的算力平台,在这个算力平台里就会包括计算平台,包括通讯平台,所以生成式AI云也是将来的开展趋向;还有一个更大的云的趋向,这个云就是将来的AI工厂,大模型的呈现标志着AI会往超大范围的场景上变化。

ChatGPT呈现之前,大家对AI有一定理解的话,会看到AI有很多不同的分支,我们有基于计算视觉(Computing Vision,CV)的,有基于NLP自然言语处置的,还有特地针对多媒体的,模型的分支很多。但是当以GPT为代表的多模态的大模型呈现以后,模型逐步走向统一。当模型走向统一之后,将来提供锻炼效劳的平台,其实会变成十分单纯、但是十分强大,有很大很大算力的平台。这个平台我们就叫它AI云,由于它跟传统的云和数据中心的目的完整不一样的,它追求的就是很单纯的几个模型,或许是一个,或许是有限的几个,但是我要让这个模型的性能发挥到淋漓尽致。所以在这里需求有最强的计算平台,像最强的GPU,也需求最强的网络平台。