transformers 并没有立刻占领整个世界,甚至在谷歌内部也没有马上普及。Kaiser 回忆道,在论文发表前提下,Shazeer 曾向谷歌高管提议放弃原有搜索索引机制,利用 transformer 训练一套巨大的网络,从根本上改变谷歌的信息组织方式。其实在当时,就连 Kaiser 自己也觉得这个主意太过荒谬。可现在哪怕最保守的观点,也认为这项改革将只是时间问题。
在此期间,一家名叫 OpenAI 的初创公司行动更快,明显占得了先机。在论文发表后不久,OpenAI 公司首席研究员 Ilya Sutskever(他在谷歌工作期间就接触过 transformers 团队)建议科学家 Alex Radford 认真研究这个方向,最终成果就是首款 GPT 产品。正如 OpenAI 公司 CEO Sam Altman 在去年的采访中所言,“在 transformers 论文发表时,我感觉谷歌那边还没有真正意识到它的深远影响。”
公司内部的情况确实更为复杂。Uszkoreit 解释道,“对我们自己来说,transformers 显然可以发挥一些神奇的功效。所以大家可能会问,谷歌为什么没在 2018 年推出 ChatGPT?实际上,一切顺利的话在 2019 年甚至 2020 年推出 GPT-3 甚至 3.5 也是有可能的。而且人们最大的疑问在于,既然谷歌已经看到了 transformers 的魔力,为什么会不采取任何行动?这个问题的答案其实相当复杂。
不可否认的是,如今这篇论文的所有八位作者都已离开谷歌。Plosukhin 创立的 Near 公司专司开发区块链,其代币市值约为 40 亿美元。Parmar 和 Vaswani 于 2021 年以业务合作伙伴的方式共同创立了 Adept(目前估值为 10 亿美元),且正在联手创办第二家公司 Essential AI(已融资 800 万美元)。Llion Jones 在日本东京开设的 Sakana AI 公司估值 2 亿美元。Shazeer 于 2021 年 10 月离职,参与创立了 Character AI(目前估值为 50 亿美元)。谷歌实习生 Aidan Gomez 于 2019 年在多伦多联合创立了 Cohere(当前估值约 22 亿美元)。Jakob Uszkoreit 的生物科技公司 Inceptive 估值为 3 亿美元。而且除 Near 以外,所有创立企业均以 transformers 技术为业务基础。