业界观点

一种流行的观点是，我们应该期待当前的趋势继续保持下去，并且出现更多数量级，这最终可能会引领我们实现AGI。本文作者认为，这种观点来自于一系列神话和误解。

本文作者Rob Toews发布了2023年AI发展的十大预测，整体来看，大部分预测都离不开“大模型”这个关键词，具体分析也有其道理。

很少有人会否认，过去十年，AI领域最耀眼的明星组织当属DeepMind，没有之一。 那个震动世界的高光时刻发生在2016年3月的一天，AI选手AlphaG击败了世界围棋冠军李世石的那一刻……

在他诉苦后，江湖上大致有 ML“弃坑”派、MLOps“真香”派和技多不压身派给出了观点，有人劝他打消这种想法，这样做一定是疯了，也有劝他跳坑做自己感兴趣的软件工程的，另一部分人则建议使用 MLOps。

一般来说，这样的论文立意宏大，难写。在论文里论证研发下一代架构的必要性也很难，必须要有理有据的证明。强如 Google Brain 这样的团队也只能说，尽管 TF v1 可以做到这个以及那个，但它有这

尤其当我们理解了 WHY 之后，可能会发现 Pathways 的设计和实现仍欠火候，如果可以更进一步，那恰恰是 OneFlow 早已实现的思路。

这也让他名声大噪，成为一名深度学习和计算机视觉领域的“网红”，不止于此，他还成长为一名AI领域顶尖的远见者和领导者。

“我觉得现在是一个不可思议的时刻，能以一种可以彻底改变世界的方式将两种学科结合在一起。这是我义不容辞的责任，如果我能做到的话，实现这一点几乎是道德上的当务之急。”

3月初，苹果发布了M1 Ultra芯片，更是集成了高达1140亿个晶体管。显然，头部厂商都在推进现有芯片设计和制造技术的极限，但问题是，当这些“花招”用完后怎么办？

AlphaCode 取得的成绩意味着什么？它会抢走程序员的饭碗吗？在基础科学领域，AI 发挥了怎样的作用？该如何理解人类和 AI 的关系？

我们希望创建一个简洁的抽象统一解决这些问题，希望用一个干净、统一的管理平台把所有的系统和硬件都清晰地抽象出来，以便能够部署模型，并最大限度地利用好目标硬件。

作为一个AI前沿领域的探索者，纵览其职业生涯，Sutskever的每一次转向似乎都能恰到好处地挖到黄金。

硬件有望在创新软件中延长其生命周期，软件可以利用硬件作为预构建和可定制的组件。希望双方都能加持彼此进入一个新的良性循环，就像摩尔定律鼎盛时那样。

最终，GPU会卫冕其首选架构的宝座，以促进AI软件的进一步发展，并最终成为计算机架构新的黄金时代的明星。

“本文作者在文末声称，Tenstorrent解决了英伟达还没有解决的横向扩展(scale out）问题。我并不同意这个观点。”

对于芯片这种重资产行业，尤其是去创业做这件事，可能更考验对长期技术发展、市场需求的判断，以及执行这些判断的信心和魄力。作为一位非常典型的连续创业者，Simon Knowles显然很有发言权。

技术脉络的演进，总是草蛇灰线、伏脉千里，透过某个技术出现的单点时刻，回溯其源起和演进路径，可以更有效地指导后续的技术决策，而不是寄希望于灵光一现式的运气。

从中我们可以通过第一手资料了解到发起Spark和Ray、成立创业公司、重视开源、拥抱云这一系列关键决策是怎么做的。通过这篇文章，希望朋友们能找到Spark和Ray成功的秘笈。

在本文中，我们讨论一下，一个最理想的点到点通信库应该是什么样？如果现在还没有这样的库，我们何不一起做一个这方面的开源项目？

我只介绍一些背景信息，以及从OneFlow里做过的类似工作来评价一下GShard还有哪些可改进的地方。只有把GShard放在上下文里去看，才能更清楚地看到它的好和不好。