科技巨头CEO直言google在AI军备竞赛中无能为力

123 阅读8分钟

前言

前谷歌CEO Eric Schmidt 在斯坦福大学的一次讲话放飞自我,在讲话中吐出了许多实话后,告诉现场的观众不要引用他的话,现场一片欢笑,结果主持人告诉他正在被摄影机记录着。

这次演讲后,斯坦福下架了这个演讲(估计是怕影响Google的股价,或者是舆论问题,就像英剧《是,大臣》中汉弗莱讲英国人太懒了,影响英国发展)。

有意思的是视频在YouTube下架之后,外面的人来B站上观看。

目前YouTube上也有剪辑版的谈话,毕竟现在视频平台想要流量,谁会为别人的利益牺牲自己的利益,彻底下架这个视频(讽刺的是这个CEO还在演讲中讲到这方面内容,妥妥的回旋镖)。

演讲中主要的观点

由于是座谈会的形式进行的对话,对话内容比较乱,以下总结出来了一些观点以及个人的一些讨论。

观点1: Eric Schmidt讨论了人工智能(AI)短期内的发展方向,强调了上下文窗口扩展、AI代理和文本到操作等技术将会是短期内主要的发展目标。

这里他谈到一些有意思的内容,比如一个大模型需要准备六个月、训练六个月和六个月的微调,所以这些大模型对当前最新的信息总是一无所知。而我们通过一个很大的上下文窗口可以输入当前最新信息,并在上下文咨询问题,这使得大模型通过上下文窗口中获知最新信息并进行回答。上下文窗口越大的大模型,能够获取最新信息的容量就越大,所以未来增大上下文窗口大小将是一个重要的方向。

观点2: Eric Schmidt认为未来大模型将直接理解自然语言然后执行,所有人都会有一个十分廉价的程序员,未来的人可能不需要学习任何一门语言。

这里他提到了Mojo这个用于代替Python的编程语言,觉得这语言不一定能够成功挑战python的主导地位,因为他认为未来大多数人基础上能够通过自然语言命令AI去完成绝大多数的任务(比如创建一个类似Google的竞品),AI相当于廉价的程序员。那么未来程序员将面临巨大的淘汰风险。当然这里个人认为未来程序员要面临自身的转型升级,学会比一般人更好地使用AI,这样才能在市场上更加具有竞争力。就像自媒体平台让一般人可以低成本制造并传播媒体信息,这冲击了传统的传媒行业的就业市场,但也给了许多传媒的新人带来新的天地去创业。这在AI方面也是一样的,会用AI的程序员比一般人更加具有优势。

观点3: 非Transformer架构不会是目前AI公司的优先目标,以及利用分布式计算实现大模型的训练推理是低效的。

Eric Schmidt在讨论中提到了当前AI研究的一个热点——探索非Transformer架构的可能性。尽管Transformers已经成为处理序列数据和自然语言处理任务的标准架构,但随着技术的发展,研究人员正在寻找新的方法来改进或替代现有的Transformer模型。一个被提及的方向是状态模型,它可能提供不同的机制来进行梯度下降和矩阵乘法等操作,以期达到更快、更有效的计算效果。然而,目前的研究更多地集中在如何扩大上下文窗口上,以便能够更好地理解和处理更长的文本序列,研究非Transformer架构并不是现在AI公司最优先的 而对于分布式计算,由于大模型的训练和推理里面包含了大量的矩阵乘法,如果将大模型的训练和推理通过分布式计算来实现,这将会是极其低效的。

观点4: 英伟达目前处于垄断地位,这主要是通过技术领先做到的,政府不太可能像对约翰·洛克菲勒那样拆分英伟达。

这里拆分的考量主要是政府对公司垄断地位给社会造成实质影响,石油公司垄断后只会凭借垄断地位从市场获取高额利润,然后导致居民、企业部门的成本增加,阻碍社会发展。然而科技领先造成的垄断,垄断者必须时刻保持对技术的研究才能保持自己不会被后面者赶上,总体上是有利于社会科技发展的。造成两种截然不同的情况的一个主要原因是:石油是有限的实物资产,而技术知识是无限,垄断者不太可能垄断所有的实现路径。还有一个原因就是中美AI的军事竞赛,拆分科技垄断性公司可能会导致竞争的失利。

观点5: AI模型的训练需要巨大的算力和电力供给。资本密集型的AI开发会改变目前软件开发模型,推动AI公司将开源模型改成闭源模型以获取资本回报。头部玩家与其他的玩家的差距将越拉越大。

现在AI大模型的研究成本十分之高,相对于开源模式,闭源模式能够更加快获取资本回报,未来大多数公司可能都会转向闭源,像自己投资的法国大模型Mistral也将转向闭源,只有像Meta这种有其他产业收益用来投资AI的公司会继续当冤大头选择开源。当然个人认为Meta的开源更多是为了吸引开发者来建设生态,Meta作为后来者必须通过开源的形式吸引开发者建设自身生态从而形成自身的商业壁垒,否则两个闭源大模型之间,开发者只会选择领先者。当然这种方式只有像Meta这种拥有其他行业收益的公司才能支撑的起,而国内的话通义也是走这条路线(部分开源),像DeepSeek这种没有其他行业收益持续投资支持开源的,未来极有可能转向闭源。百度的文心一言早早地宣布转向闭源以求实现通过更多商业模式进行盈利。像头部玩家Meta和OpenAI这两种路线谁输谁赢还很难下定论。但是可以肯定的是没有其他行业收益投入或者是闭源的后来者将很难追赶头部的玩家。

观点6: AI领域是初创者的天下,大公司往往由于员工现有过于优越的待遇或者是官僚化的制度而缺乏在新领域创新的动力。

这里他认为谷歌之所以在AI领域输得一塌糊涂就是因为大公司过于优越的待遇让员工相对于其他初创公司的员工缺乏竞争力。像台积电或者是马斯克之所以能够成功,是因为能够让员工全身心投入到工作中。像苹果、微软这些公司已经无法和这些初创公司竞争了,只能采取收购策略, 去拼命收购AI初创公司以获取自身在AI领域的竞争力,避免被时代淘汰。

观点7: 面对AI的竞争,欧洲除了法国其他的没有竞争了,美国的盟友可以加入到美国的供应链体系中,中国是主要的竞争对手,印度是墙头草,其他国家没戏了只能依靠AI主要的玩家。

尽管中国在芯片和显卡CUDA方面落后于美国,但是庞大且语言统一的工程师人群将带给中国巨大的竞争力。

观点8: 对于大模型训练所用到的数据版权问题,未来有可能利用分成的形式解决。

他还说到TikTok的例子,当你利用他人的数据内容成功获利时可以雇佣律师为自己辩护,如果没有成功,那就没人会起诉你(吧?)。很多视频平台都是盗版的收益者,它们在维护别人的利益上并不上心,甚至制造门槛(比如只能作者本人投诉版权问题),想必谷歌CEO也没想到自己也会遭殃吧。

观点9: AI不太可能拉动就业,AI会让富人越富、穷人越穷,国家也是一样。

(个人观点)AI的发展将导致许多社会问题,在解决的过程中要牺牲多少人我们不得而知 ,我们唯一能做的是继续学习,不让自己成为别人口中的代价

主持人(也是一名教授)的一个观点:AI推动生产力的飞跃还需要流程创新和组织创新才能获取巨大的回报,目前AI的生产力只是初步的回报。

这也是AI创业者未来应该注重创新的一个点,也是这次座谈会上最有价值的一个观点。


更多文章、信息、资源,欢迎关注公众号DThruster