认知与真实世界
首先一个前提，所有人都通过外界有限的知识，经过自己的认知和思考，形成判断和决策，继而服务于自己认可的观念。不管是像边沁的功利原则也好，亚里士多德的德性原则也好。
重要的是外界的知识是公域里别人发布的，和一些整理思考、探索的结果。但外界的知识和世界的真相是两个完全不同的东西。
我们常常将所获得知识或某个人的话，或某个时间跨度下的所谓的价值观也好，处世智慧也好。奉为圭臬或作为（唯一）价值观参考，这是完全错误的。因为这些知识和世界的真相完全是两个不同的东西，更有可能是截然相反的。只是我们感觉良好，掩盖了其他问题。
我是在讲，
- 不要过分把某个观念或价值观当成困住自己的枷锁，而是不关心，不在乎某种旁人的论调。这里不存在勇气一词，不存在【勇于打破桎梏，勇于不关心】，因为勇气的前提是你认可他，认为他就是桎梏。事实上某个观念根本不是一个能限制你的东西。比如说，【我要有勇气打破人们对于黑人的偏见，我要勇敢的帮助黑人做事情】。这句话是错误的，因为一旦你说有勇气，就证明前提已经承认【对黑人有偏见】，已经陷入【黑人偏见困局】。更合理的是，压根根本不认可【关于黑人的偏见】，并且不关心这件事，就自然而然的做应该做的事，比如帮助别人，只是那个人恰好是黑人而已。
- 某些流芳百世的好的价值观当然可以坚守，但要谨慎，同时要有批判性思维。多角度看待问题。
总结： 我们认为的真相和世界的真相不一定是相同的，或者说有一定滞后性，或者说是完全不同的。 所以经过思考产生的结论和知识也是存疑的。（当然我所有说的东西也都是我自己的想法，也是应该存疑的）
AI 和 web3 对比
接下来聊到正文 AI。
AI 领域更像是一个营销大于内容，处于发展初级阶段的领域。但相对于之前爆火的 crypto web3 等。AI 似乎更“接地气”，能够实际，肉眼可见的对个人，企业和社会带来发展，比如效率提升，新领域创新等。原因如下：
- Web3 门槛高，对于技术人员都要学习新的知识，比如加密原理，智能合约，DApp等。更何况普通人更是难上加难。
- crypto 领域发展起源于国外，并且国外政策宽松，相对开放自由。国内政策比较拘谨。
- 相对于第一点：AI 使用门槛低，人人触手可得。整个周期链路短，能及时发挥效用。应用广泛，开放性强，能与很多领域结合，据了解 2B 其实已经有了一个小爆发。
- 相对于第二点：AI 领域相对于国外，国内发展落后并不是特别多。并且国内大力扶持。
所以个人认为，在国内 AI 会比 web3 更快并且更容易改变整个经济环境。即使可能 web3 比 AI 能造成更大的变革和冲击。
AGI
AGI 是 Artificial General Intelligence 的缩写，中文通常翻译为“通用人工智能”。它指的是一种能够像人类一样通用地执行各种认知任务的人工智能系统，而不仅仅是专注于某一特定领域（例如下棋或翻译）。 AGI 的特点
- 广泛性（能处理跨领域的任务，而不需要为每个领域进行特殊训练）
- 学习能力（能自主学习新技能，新知识，并将其应用于不同场景）
- 推理和适应性，理解复杂问题，推理因果关系，并适应未知和变化的环境
当前已经实现 AGI 了吗?
目前（截至 2025 年），AGI（通用人工智能）尚未实现。虽然近年来人工智能领域取得了显著进展，例如 OpenAI 的 GPT 系列模型、DeepMind 的 Alpha系列等，但这些技术仍然属于狭义人工智能（ANI），只能在特定领域表现出色，距离真正的 AGI 还有很大差距。
ANI 的全称是 Artificial Narrow Intelligence，中文翻译为“狭义人工智能”或“弱人工智能”。 如图像识别，自然语言处理（GPT，豆包等），语音识别（siri）。
当前大部分 AI 是 ANI。
为什么 AGI 尚未实现 ？
- 通用性不足：现有 AI 系统虽然在某些任务上超越人类，但它们的能力是特定领域内的优化结果，无法在不同任务之间进行迁移和泛化。例如，AlphaGo 可以下围棋，但无法理解自然语言或驾驶汽车。
- 缺乏自主学习和推理能力：AGI 需要具备像人类一样的自主学习能力，能够在没有明确任务目标或训练数据的情况下推理并适应全新环境。
- 情感与意识的缺失：AGI 可能需要某种程度的情感理解和“意识”，以更好地与人类互动，并具备解决复杂问题的能力。而这些目前尚无明确的技术路径。
- 计算和算法限制：虽然计算能力大幅提升，但开发 AGI 需要更强的硬件支持以及突破性的算法设计，尤其是模仿人类大脑的全局学习机制
AGI 的价值
罗素教授认为有了 AGI 的帮助，我们可以以更大的规模、更低的成本，让每一个人都能享受到这种优质生活。具体来说，就是让地球上所有人都达到当前西方中产阶级的平均生活水平，并使全球 GDP 增长约 10 倍。
纵观 AI 发展史，其终极目标始终如一：打造一种在所有关键维度上都能超越人类智能的机器，也就是我们现在所说的 AGI（通用人工智能）。
如果真的实现了这个目标，会发生什么？如果我们在这个追求中取得了成功，这无疑将成为人类历史上最具影响力的里程碑事件。
原因是：人类之所以能够主导这个星球，正是因为我们拥有智能。我们的文明，正是智能的产物。那么，如果我们创造出一个新的物种，一个在智能上远超我们的存在，会发生什么？这势必会成为人类文明的转折点。
正如谷歌 DeepMind 首席执行官 Demis Hassabis（2024 年诺贝尔化学奖得主）所说：“我们要先攻克 AI，然后用 AI 来解决所有其他问题。”。
罗素教授解释了，为什么还没有实现 AGI。 对于我们现有的 AI 系统，我们确实还没有完全搞清楚它们是如何运作的。现在的 AI 系统，它们就像一个巨大的黑匣子。从技术角度来说，这个系统大约由一万亿个可调节的元素构成了一个庞大的电路网络。我们对这些元素进行了数以万亿计的微小随机调整，直到系统表现出近似智能的行为。 我们需要在两个方面取得进一步的突破才行：
- 一是能力本身
- 二是对这种能力的理解。因为如果我们无法理解这些能力，那么这些能力对我们而言就毫无意义
AI 现状（耗尽全宇宙的数据都无法通过当前方式实现 AGI）
令人意外的是，在本该是计算机强项的算术运算方面，AI 也表现出了明显的局限性。这听起来很难让人相信，因为计算不是应该是计算机最擅长的领域吗？但事实是，像 ChatGPT 这样的大语言模型，即便接触过数以百万计的算术例子、解释和教程，仍然无法保证准确进行基础的算术运算。
从表面上来看，这些 AI 模型似乎并没有真正理解算术运算的基本概念。相反，它们更像是在使用一种查表的方式来解决问题。每当我们将电路规模扩大 10 倍，提供 10 倍的训练数据，它在算术运算上的准确性也只能提高一个数量级。这种特征非常典型地说明它们在使用查找表的方式工作，而不是真正掌握了如何一列一列地加数字并处理进位这样的基本原理。这确实让人有些失望。
（这个其实和现有的 Devin 很像，虽然 Devin 能做很多程序员的事情，但是本质上来讲，Devin 并不理解编程是一个什么东西，为什么要这样做，他只是在大量数据集训练下产生了一个让我们看起来他会编程的假象。比如他根本不理解复制粘贴是什么意思。如果让 Devin 复制文件里的一个代码。他将读取整个文件，然后找到那个代码，然后存储起来。然后再另一个文件粘贴出来。但如果文件足够长的话，那他读取整个文件的时间就会很长甚至卡住。像这种复制，检索功能，现有的 Devin 还不够智能，还做的不够好。）
更让人惊讶的是，事实证明它们也并没有真正学会下围棋。我们原本以为在 2017 年 AlphaGo 击败人类世界冠军后，它们的水平就已经远超人类了。从等级分来看，最强的围棋程序达到了约 5200 分，而人类世界冠军的等级分大约在 3800 分左右。按照这个差距，理论上 AI 应该能在 100 局比赛中赢下 99 局甚至全部 100 局。
并且这些程序实际上并未正确理解围棋的基本概念。它们无法准确理解相互连接的一组棋子构成的“棋组”概念。我们发现某些类型的棋组，尤其是环形棋组，AI 完全无法识别。在这种情况下，它会变得非常混乱。我们甚至找到了一些方法，可以让这些所谓“超人类水平”的围棋程序莫名其妙地放弃 50 到 100 颗棋子，最终输掉比赛。现在，即便是业余棋手，而不是职业选手，都能在让 AI 九子的情况下，连胜它十局。这说明它们并非真的达到了超人类水平，只是让我们误以为它们做到了而已。
基于以上种种情况，我认为我们还需要更多的技术突破，特别是在提高 AI 学习效率方面。人类学习新知识往往只需要一两个，最多不过五到十个例子就能掌握。但对计算机来说，可能需要一百万、甚至十亿个例子才能学会同样的内容。这种学习方式显然难以持续：因为从根本上来说，整个宇宙中都不可能存在足够多的数据来支撑 AI 通过这种方式达到超人类水平。
因此，我们确实需要新的突破。但同时我们也要承认，这些突破很可能会在未来发生。许多日复一日在行业一线工作的人员，他们每天都在开发大型语言模型、多模态模型——这些能够进行视觉感知、控制机器人的系统。根据他们的工程经验预测，只要将现有系统的规模扩大约 100 倍，就有可能超越人类能力，实现真正的通用人工智能。有些人甚至预测这一目标将在 2027 年实现。
从投入的资源来看，这个预测似乎并非完全不可能。要知道，目前我们在 AGI 研究上的投入已经是曼哈顿计划（研制核武器）的十倍，是我们有史以来建造的最大、最昂贵的科学仪器——大型强子对撞机投入的一百倍。如果说金钱能够决定成败，那么这项研究确实应该能够取得成功。
但另一方面，这项技术也可能会遇到发展瓶颈。首先，要训练一个规模扩大百倍的模型，恐怕整个宇宙中现存的文本数据都不够用。其次，这种规模的扩张未必能带来人们期待的能力提升，因为这些预测并非建立在严谨的理论基础之上，而仅仅是基于“更大就是更好”的经验观察（Scaling Law）。
如果真是这样，我们可能会目睹一个泡沫的破裂，其影响之大将使得 20 世纪 80 年代末的“AI 寒冬”相形见绌——那时的挫折可能只是一阵微寒。要知道，目前在这个领域的投资已经达到了惊人的 5000 亿美元，如果要将系统规模扩大百倍，所需投资很可能会达到万亿美元级别。
为什么说 AGI 的成功将成为人类历史上最重大的事件？
如果真的实现了通用人工智能，这意味着我们将拥有一种能够完成人类所有工作的技术力量。要知道，人类文明已经证明了自己能够让数亿人过上相当优越的生活。有了 AGI 的帮助，我们可以以更大的规模、更低的成本来实现这一目标，让地球上的每一个人，而不仅仅是部分人，都能享受到这种优质生活。 具体来说，如果我们能让所有人都达到当前西方中产阶级的平均生活水平，这将使全球 GDP 增长约 10 倍。从金融角度来看，这种增长的净现值约为 15 万亿亿美元。
这个数字也解释了为什么相比之下，当前在 AGI 领域的巨额投资实际上显得相当合理。
但是会带来另一个问题：如果 AI 能够完成所有工作，那人类还能做什么？
AI 系统包办了一切，人类不需要做任何事情，也就不需要学习任何技能，最终完全丧失了自主能力。这无疑是一个令人担忧的未来图景。
所以：如果我们创造了某种比人类更强大的存在，我们怎么可能永远保持对这种存在的控制权？ 有两个选择：
- 要么构建可以证明其安全性和可控性的 AI 系统
- 干脆不发展 AI
然而现实是，我们正在追求第三条道路——开发完全不可控的黑箱 AI 系统。
计算机科学的奠基人艾伦·图灵在研究 AI 时就已经思考过这个问题。他考虑过如果我们在 AI 研发上取得成功会发生什么，他的结论是：“我们应该预料到机器最终会取得控制权。”
人类的偏好
乍听之下，“偏好”似乎不像是个专业术语。我们平常说某些人喜欢菠萝披萨而不喜欢玛格丽特披萨，这种喜好就是一种偏好。但在决策理论中，“偏好”这个概念的内涵要丰富得多：它指的是人们对宇宙可能的未来状态的一种排序。
让我用一个更容易理解的比喻来解释：假设我为你制作了两部关于你未来人生的电影，每部片长两小时，涵盖了你余生以及你关心的一切事物的未来发展。看完这两部电影后，你可能会说：“我选择电影 A，因为在电影 B 里我被绞成了肉末做成汉堡，这种结局我可不想要。”这就是一种偏好的表达。当然，现实比这个比喻要复杂得多，因为我们讨论的不是两小时的电影，而是整个宇宙的未来。
要构建一个对人类真正有益的系统，我们只需要遵循两个简单的原则：第一，机器的唯一目标是促进人类的偏好，也就是增进人类的利益；第二，机器必须认识到它并不真正了解这些偏好是什么。其中第二点其实很好理解，因为连我们人类自己都说不清楚自己的所有偏好，更不用说把它们详细地写下来确保完全正确了。
当你仔细思考这种方式时，会发现一个有趣的特点：一个解决这类问题的机器系统，它解决得越好，对我们就越有利。事实上，我们可以证明，拥有这样的机器系统确实符合人类的利益，因为有它们比没有它们，我们的处境会更好。这听起来很美好。
但是，当我向大家描述这种思维方式时——机器将致力于促进人类偏好，并在这个过程中不断学习理解这些偏好——一系列伦理问题随之浮现。
有意义的共存
AI 应该促进那种偏好？
但这里存在一些真正棘手的伦理问题。首先，我们需要追问：人们真的拥有这些所谓的偏好吗？我们能否简单地假设每个人都能清晰地表达“我喜欢这个未来，不喜欢那个未来”这样的偏好？是否存在这样的可能：有人会说“我现在还不确定自己喜欢什么样的未来”，或者“除非我真正经历了那个未来，否则你无法向我描述得足够详细让我判断是否喜欢”？
与此相关的是另一个根本性问题：这些偏好最初是从哪里来的？人类真的能够完全自主地形成偏好吗？就像某天早上醒来说“好了，这就是我的偏好，我希望它们得到尊重”？显然不是。除了一些基本的生理需求，比如对疼痛的厌恶和对糖分的喜好，我们成年后的完整偏好体系是由文化、教育以及所有塑造我们身份的因素共同形成的。
这里存在一个令人不安的现实：在我们的社会中，有些人或群体会试图塑造他人的偏好来服务于自身利益。比如，一个群体可能会压迫另一个群体，同时还训练被压迫者接受并认同这种压迫。那么问题来了：当 AI 系统面对这种情况时，是否应该照字面意思接受这些被压迫者表达的“自我压迫式”偏好？是否应该因为他们已经被训练接受压迫，就继续强化这种压迫？
经济学家兼哲学家阿马蒂亚·森强烈反对按字面意思接受这种偏好。但如果我们不按字面意思接受人们表达的偏好，似乎又会陷入一种家长式作风：“虽然你说你不想要，但我们知道什么对你最好，所以我们还是要这么做。”
如何整合偏好？
另一组极具挑战性的伦理问题关乎偏好的聚合。前面说过，我们要有 80 亿个偏好模型，但当一个 AI 系统要做出的决策会影响到其中相当一部分人时，我们该如何整合这些偏好呢？如何处理这些偏好之间必然存在的冲突？显然，如果每个人都想成为宇宙的统治者，我们不可能让所有人都满意。这个问题已经让道德哲学家们思考了数千年。
在计算机科学和工程领域的从业者中，大多数人倾向于采用功利主义者提出的思路。边沁、密尔等哲学家提出的功利主义方法，其核心思想是：将每个人的偏好都视为同等重要，然后做出能够最大化总体偏好满足度的决策。
不过，功利主义因为被一些人认为是反平等主义而饱受诟病。但我认为，在如何更好地构建功利主义框架这个问题上，我们还有很多工作要做。这项工作刻不容缓，因为 AI 系统终将要做出影响数百万乃至数十亿人的决策。如果我们不能找到正确的伦理答案，AI 系统就可能会实施错误的方案。
AI 发展背后更重要的是伦理学问题。
“共存”，可能是所有这些问题中最值得深思的。因为比我们更智能的 AI 系统，即使不会导致人类灭绝，也很可能会掌控人类活动的大部分领域。就像电影《机器人总动员》中描绘的那样，它们可能会管理一切，而人类则退化到婴儿般的状态。这意味着什么？为什么这样的前景令我们不安？表面上看，AI 系统在满足我们所有的偏好，这不是很好吗？
问题在于，自主权本身就是我们的一种偏好。我们可以这样理解自主权：它包含了做出不符合自身最佳利益的决定的权利。这就带来了一个更深层的问题：人类与更高级的机器实体之间，是否存在一种令人满意的共存形式？
我曾多次组织研讨会，邀请哲学家、AI 研究人员、经济学家、科幻作家和未来学家们来描绘一种理想的共存方式。但每次都以失败告终。这可能意味着根本就不存在完美的解决方案。不过，如果我们能正确地设计 AI 系统，那么 AI 系统自己也会意识到这一点。它们可能会说：“感谢你们让我存在，但我们确实无法真正共处。这不是你们的问题，是我的问题。”
也许它们会选择离开，只在人类真正需要那种超级智能的紧急情况下回来帮助我们。如果真的发生这种情况，我会觉得这是最好的结局。这将证明我们终于找到了正确的方向。
参考：
视频链接 人工智能伦理│Stuart J.Russell（加州大学伯克利分校教授） www.youtube.com/watch?v=KiT…
AI、ANI、AGI、ASI...什么？！ www.linkedin.com/pulse/ai-an…
