最新Claude创始人万字长文讨论强大AI的未来世界Machines of Loving Grace--AI 如何让世界

Machines of Loving Grace--AI 如何让世界变得更美好

2024 年 10 月

我思考并谈论了很多关于强大 AI 的风险。我担任首席执行官的公司 Anthropic 做了很多事情关于如何降低这些风险的研究。正因为如此，人们有时会得出结论，我是一个悲观主义者或“厄运者”，认为 AI 大多是坏的或危险的。我根本不这么认为。在事实上，我关注风险的主要原因之一是，它们是我们之间唯一的东西以及我认为从根本上积极的未来。我认为大多数人都低估了 AI 的好处可能有多激进，就像我认为大多数人都低估了一样风险可能有多严重。

在这篇文章中，我试图勾勒出这种好处可能是什么样子——一个拥有强大 AI 的世界会是什么样子看起来如果一切顺利。当然，没有人能确定地知道未来或精确度，而强大的 AI 的效果可能比过去更加不可预测技术变革，所以所有这些都不可避免地将由猜测组成。但我的目标是受教育程度最低且有用的猜测，即使大多数细节结束，也能捕捉到将要发生的事情的味道 up 是错误的。我包含了很多细节，主要是因为我认为具体的愿景对比高度封闭和抽象的讨论更深入。

然而，首先，我想简要解释一下为什么我和 Anthropic 没有过多地谈论 powerful AI 的好处，以及为什么我们可能会继续总体上大量讨论风险。特别是，我做出这个选择是出于以下愿望：

最大化杠杆。AI 技术的基本发展及其许多（不是全部）好处似乎是不可避免的（除非风险破坏了一切），并且从根本上是由强大的市场力量。另一方面，风险不是预先确定的，我们的行动可以大大改变了他们的可能性。
避免对宣传的看法。AI 公司谈论所有惊人的好处的 AI 可以像宣传者一样出现，或者好像他们试图转移对不利因素的注意力。我还要认为，原则上花太多时间对你的灵魂是有害的 “Talking Your Book”（谈论你的书）。
避免浮夸。我经常对许多 AI 冒公众人物风险的方式感到反感（更不用说 AI 公司的领导者）谈论后 AGI 世界，仿佛这是他们的使命是单枪匹马地实现它，就像先知带领他们的人民走向救赎一样。我认为是将公司视为单方面塑造世界是危险的，而将公司视为实际是危险的本质上是宗教方面的技术目标。
避免“科幻”包袱。尽管我认为大多数人都低估了强大的 AI，确实讨论激进 AI 未来的一小群人经常在过于“科幻”的基调（例如，以 Uploaded Minds、Space Exploration 或一般赛博朋克为特色）共鸣）。我认为这会导致人们不那么认真地对待这些主张，并给它们注入一种的不真实。需要明确的是，问题不在于所描述的技术是否可能或可能（主要文章详细讨论了这一点）——更多的是“氛围”的内涵性走私在一堆文化包袱和关于什么样的未来是可取的未说明的假设中，如何各种社会问题将上演，等等。结果通常最终读起来就像一个幻想狭隘的亚文化，同时让大多数人反感。

然而，尽管存在上述所有担忧，我确实认为讨论什么是美好的世界是很重要的强大的 AI 可能看起来像这样，同时我们尽最大努力避免上述陷阱。事实上，我认为是的对未来有一个真正鼓舞人心的愿景至关重要 ，而不仅仅是一个灭火计划。强大的 AI 的许多影响是对抗性的或危险的，但归根结底，还是有必须是我们正在为之奋斗的东西，一些每个人都过得更好的正和结果，一些可以团结人们克服争吵并面对未来挑战的东西。恐惧就是其中之一某种激励因素，但这还不够：我们还需要希望。

强大 AI 的积极应用列表非常长（包括机器人、制造、能量等等），但我将重点介绍在我看来具有最有可能直接提高人类生活质量。我最兴奋的五个类别关于 ARE：

生物学和身体健康
神经科学和心理健康
经济发展与贫困
和平与治理
工作和意义

按照大多数标准来判断，我的预测将是激进的（除了科幻小说中的“奇点” 愿景2），但我是认真的而且是真诚的。我所说的一切都很容易出错（重复我上面的观点），但是我至少试图将我的观点建立在对各种领域可能会加速，这在实践中可能意味着什么。我很幸运拥有专业的两者兼而有之生物学和神经科学，我是经济发展领域的知识渊博的业余爱好者，但是我确信我会做很多错。写这篇文章让我意识到的一件事是它将一组领域专家（生物学、经济学、国际关系和其他领域）来写一个更好、更明智的版本。最好将我在这里的努力视为该组的开始提示。

基本假设和框架

为了使整篇文章更加准确和扎实，明确说明我们的意思会很有帮助强大的 AI（即 5-10 年时钟开始计数的阈值），以及布置一个框架来思考这种 AI 存在后的影响。

多么强大的 AI（我不喜欢 AGI 这个词）3会是什么样子，以及它何时（或是否）到达，是一个巨大的话题本身。这是我公开讨论过的，可以写一篇完全独立的文章（我可能会在某个时候）。显然，许多人对强大的 AI 是否会很快构建持怀疑态度，有些人确实如此怀疑它是否会建成。我认为它最早可能在 2026 年到来，尽管有也可能需要更长的时间。但为了本文的目的，我想把这些问题撇开它不谈，假设它会很快到来，并专注于之后 5-10 年会发生什么。我还想假设这样一个系统会是什么样子， 它的能力是什么以及它是如何相互作用的，尽管在这一点上存在分歧的余地。

通过强大的 AI，我想到了一个 AI 模型——在形式上可能与今天的 LLM 相似，尽管它可能基于不同的架构，可能涉及多个交互模型，并且可能是以不同的方式训练 - 具有以下属性：

在纯粹的智能方面4它在大多数相关领域都比诺贝尔奖获得者更聪明 – 生物、编程、数学、工程、写作等。这意味着它可以证明是未解决的数学问题定理，写非常好的小说，从头开始编写困难的代码库，等等。
除了只是一个 “你与之交谈的智能事物” 之外，它还具有所有可用的 “接口” 人类虚拟工作，包括文本、音频、视频、鼠标和键盘控制以及互联网访问。它可以参与由此启用的任何操作、通信或远程操作界面，包括在 Internet 上执行操作、为人类提供或向人类提供指示、订购材料、指导实验、观看视频、制作视频等等。它执行所有这些操作任务的技能再次超过了世界上最有能力的人类。
它不仅仅是被动地回答问题;相反，可以为其分配需要数小时、数天、或者几周才能完成，然后开始以聪明的方式自主完成这些任务员工会，并在必要时要求澄清。
它没有物理体现（除了生活在计算机屏幕上），但它可以控制通过计算机的现有物理工具、机器人或实验室设备;理论上它甚至可以设计机器人或设备供自己使用。
用于训练模型的资源可以重新调整用途，以运行数百万个模型实例（这与 ~2027 年的预测集群大小相匹配），并且该模型可以吸收信息并生成以大约 10 倍到 100 倍的人类速度执行操作5.然而，它可能会受到物理响应时间的限制世界或与之交互的软件。
这 100 万个副本中的每一个都可以独立执行不相关的任务，或者如果需要，都可以工作以人类合作的相同方式在一起，也许不同的亚群会进行微调特别擅长特定任务。

我们可以将其概括为“数据中心的天才之国”。

显然，这样的实体能够非常快速地解决非常困难的问题，但事实并非如此弄清楚有多快是微不足道的。两个“极端”的立场在我看来都是错误的。首先，您可能会想世界将在秒或日的尺度上立即发生转变（“奇点”），因为卓越的智能建立在自身之上并解决每一个问题可能的科学、工程和操作任务几乎立即完成。这样做的问题是存在真正的物理和实际限制，例如围绕构建硬件或进行生物实验。即使是一个新的天才国家也会遇到这些限制。情报或许很厉害，但又不是魔仙尘。

其次，反过来说，你可能认为技术进步是饱和的或受速率限制的真实世界的数据或社会因素，而优于人类的智能只会增加很少6.这似乎同样难以置信我——我可以想到数百个科学甚至社会问题，其中一大群真正聪明的人人们会大大加快进度，特别是如果他们不仅限于分析并且可以使事情发生在现实世界中（我们假设的天才之国可以，包括通过导演或协助人类团队）。

我认为真相很可能是这两幅极端图片的混乱混合，某种东西因任务和领域而异，并且其细节非常微妙。我认为我们需要新的框架来思考以富有成效的方式了解这些详细信息。

经济学家经常谈论“生产要素”：劳动力、土地和资本等。短语 “边际劳动/土地/资本回报率”捕捉了在特定情况下，给定因素可能或者可能不是限制因素——例如，空军需要飞机和飞行员，并且需要招聘更多如果你不在飞机上，飞行员没有多大帮助。我相信，在 AI 时代，我们应该进行对话大约边际回报智力7，并试图弄清楚其他因素是什么与智力互补，当智力非常高时，这成为限制因素。我们是不习惯以这种方式思考——问“更聪明对这项任务有多大帮助，以及对什么时间尺度？“——但这似乎是将一个拥有非常强大 AI 的世界概念化的正确方式。

我猜测限制或补充智力的因素清单包括：

外界的速度。智能代理需要在世界，以完成事情并学习8.但世界发展得如此之快。细胞和动物以固定的 speed 的 so 实验需要一定的时间，这可能是不可简化的。同样是硬件、材料科学、任何涉及与人交流的事情，甚至我们的现有的软件基础设施。此外，在科学中，通常需要进行许多实验序列，每个 Sequence 都从上一个中学习或建立在上一个 Sequence 的基础上。所有这些都意味着可以完成的重大项目（例如开发癌症治疗方法）可能具有不可简化的最低要求即使智力继续增加，也无法进一步减少。
需要数据。有时缺乏原始数据，如果没有原始数据，则获得更多情报没有帮助。今天的粒子物理学家非常聪明，已经开发了广泛的理论，但由于 Particle Accelerator 数据非常有限，因此缺乏在它们之间进行选择的数据。目前尚不清楚如果他们非常聪明——除了可能通过加快更大的加速器的建设。
内在复杂性。有些事情本质上是不可预测的或混乱的，甚至最强大的 AI 无法比人类或计算机更好地预测或解开它们今天。例如，即使是非常强大的 AI 也只能在混沌系统（如三体问题）在9与今天的人类和计算机相比。
来自人类的约束。如果不违反法律、伤害人类，或者搞砸社会。对齐的 AI 不会想做这些事情（如果我们有一个未结盟的 AI，我们又回到讨论风险上来了）。许多人类社会结构效率低下或甚至是有害的，但在遵守法律要求等约束条件的情况下很难改变在临床试验中，人们改变习惯的意愿或政府的行为。在技术意义上效果很好，但影响很大的进步示例因法规或错位的恐惧而减少，包括核能、超音速飞行，甚至电梯。
物理定律。这是第一点的更鲜明版本。有一定的似乎牢不可破的物理定律。旅行速度不可能超过光速。布丁不会解开。芯片在成为不可靠。计算需要一定的最小值每 bit 擦除的能量，限制了世界上的计算密度。

根据时间尺度还有进一步的区别。简而言之，硬性约束从长远来看，run 可能会对 Intelligence 更具可塑性。例如，可能会使用 intelligence 开发一种新的实验范式，使我们能够在体外学习过去需要 LIVE 的东西动物实验，或构建收集新数据所需的工具（例如，更大的粒子加速器），或者（在道德范围内）找到绕过基于人为的限制的方法（例如，帮助改进临床试验系统，帮助创建临床试验较少的新司法管辖区官僚主义，或改进科学本身以降低人体临床试验的必要性或降低成本）。

因此，我们应该想象一幅画面，其中智力最初受到他人的严重瓶颈生产要素，但随着时间的推移，智能本身越来越多地绕过其他因素，即使它们永远不会完全溶解（有些东西，比如物理定律是绝对的）10.关键问题是这一切发生的速度有多快，以及按什么顺序。

考虑到上述框架，我将尝试针对介绍。

1. 生物学与健康

生物学可能是科学进步最有可能直接和明确地提高了人类的生活质量。在上个世纪，一些最古老的人类疾病（如天花）终于被征服了，但还有更多的疾病仍然存在，并打败了他们将是一项巨大的人道主义成就。除了治愈疾病之外，生物科学原则上可以提高人类健康的基线质量，通过扩展健康人类寿命，增加对自身生物过程的控制和自由，并解决日常问题我们目前认为是人类状况中不变部分的问题。

在上一节的 “限制因素” 语言中，直接应用的主要挑战智能对生物学来说是数据、物理世界的速度和内在的复杂性（事实上，这三者都是相互关联的）。人为限制在后期也发挥作用，当临床涉及试验。让我们一一来看。

对细胞、动物甚至化学过程的实验都受到物理速度的限制世界：许多生物方案涉及培养细菌或其他细胞，或者只是等待发生化学反应，这有时可能需要几天甚至几周的时间，而且没有明显的方法加快速度。动物实验可能需要数月（或更长时间），而人体实验通常需要数年（或即使是几十年的长期结果研究）。与此相关的是，数据通常很少数量和质量：总是缺乏清晰、明确的数据来隔离生物来自其他 10,000 件正在发生的或干预的令人困惑的事情的兴趣影响因果关系，或者直接衡量某些效果（而不是推断其后果）。即使是大量的定量分子数据，如我在研究质谱技术时收集的蛋白质组学数据很嘈杂，并且遗漏了 LOT （这些蛋白质在哪些类型的细胞中？细胞的哪个部分？在细胞的哪个阶段周期？

造成这些数据这些问题的部分原因是内在的复杂性：如果你曾经见过一张显示人类新陈代谢生物化学的图表，你就会知道它非常很难隔离这个复杂系统的任何部分的影响，更难干预系统。最后，不仅仅是运行所需的内在时间作为人体实验，实际临床试验涉及大量的官僚主义和监管要求这（在许多人看来，包括我）增加了不必要的额外时间并延迟了进度。

鉴于这一切，许多生物学家长期以来一直对它的价值持怀疑态度人工智能和生物学中更普遍的“大数据”。历史上，数学家、计算机科学家和在过去 30 年中，将他们的技能应用于生物学的物理学家取得了相当大的成功。但尚未产生最初希望的真正变革性影响。一些怀疑是被 AlphaFold 等重大和革命性的突破所削弱（AlphaFold 刚刚当之无愧地为其创造者赢得了诺贝尔奖化学）和 AlphaProteo 11，但人们仍然认为 AI 是（并将继续是）仅在有限的情况下有用。一个常见的表述是“AI 可以更好地进行分析您的数据，但它无法生成更多数据或提高数据质量。垃圾进，垃圾出”。

但我认为这种悲观的观点是对 AI 的思考是错误的。如果我们的核心假设关于 AI 进展是正确的，那么正确的思考 AI 的方式不是作为一种数据分析的方法，而是作为执行生物学家所有任务（包括设计和运行）的虚拟生物学家现实世界中的实验（通过控制实验室机器人或简单地告诉人类哪些实验运行 – 就像首席研究员对他们的研究生一样），发明新的生物方法或测量技术，依此类推。正是通过加快整个研究过程，AI 才能真正做到加速生物学。我想重复一遍，因为这是最常见的误解当我谈到 AI 改变生物学的能力时：我并不是说 AI 不仅仅是一个工具来分析数据。根据本文开头对强大 AI 的定义，我是谈论使用 AI 来执行、指导和改进几乎所有生物学家做。

更具体地说明我认为加速度可能来自哪里，一个惊人的大比例生物学的进步来自于极少数的发现，这些发现通常与广泛的测量工具或技术12允许对生物系统进行精确但通用或可编程的干预。也许有每年 ~1 个这些重大发现，它们共同可以说推动了 >50% 的生物学进步。这些发现之所以如此强大，正是因为它们消除了内在的复杂性和数据限制，直接增加了我们对生物过程的理解和控制。一些每十年的发现使我们对生物学的大部分基本科学理解成为可能，并且推动了许多最强大的医学治疗。

一些示例包括：

CRISPR：一种允许对生物体中的任何基因进行实时编辑（将任何基因序列替换为任何其他任意序列）。自从最初的技术被开发出来以来，一直存在着改进了目标特定细胞类型，提高了准确性，并减少了错误的基因——所有这些都是人类安全使用所必需的。
用于精确观察正在发生的事情的各种显微镜：高级光学显微镜（采用各种荧光技术、特殊光学元件等）、电子显微镜、原子力显微镜等
基因组测序和合成，在过去几十年中，成本下降了几个数量级。
光遗传学技术，允许您通过照射 Light on it.
mRNA 疫苗，在原则，允许我们设计针对任何事物的疫苗，然后快速适应它（mRNA 疫苗课程在 COVID 期间出名）。
细胞疗法，如 CAR-T，允许将免疫细胞从体内取出并“重新编程”以攻击，原则上，什么。
概念见解，如疾病的细菌理论或实现免疫系统和癌症13.

我不厌其烦地列出所有这些技术，因为我想对他们：我认为如果有更多的人，他们的发现率可以提高 10 倍或更多才华横溢、富有创造力的研究人员 。或者，换句话说，我认为这些发现的智力很高，生物学中的其他一切都和药物主要来自他们。

我为什么这么想？因为一些问题的答案，我们应该养成问的习惯当我们试图确定 “returns to intelligence” 时。首先，这些发现通常是由少数研究人员，通常是同一个人重复，建议技能搜索而不是随机搜索（后者可能表明冗长的实验是限制因素）。其次，他们通常“本来可以被制造出来“：例如，CRISPR 是自 80 年代，但又过了 25 年，人们才意识到它可以重新用于一般基因编辑。由于缺乏科学界的支持，它们也经常被推迟很多年有希望的方向（参见 mRNA 疫苗发明者的简介;类似的故事比比皆是）。第三成功的项目通常是杂乱无章的，或者是人们最初并不认为的事后诸葛亮有前途，而不是大量资助的努力。这表明它不仅仅是巨大的资源专注推动发现，但独创性。

最后，尽管其中一些发现具有“序列依赖性”（您需要先将发现 A 以便拥有进行发现 B）的工具或知识——这又可能会创造实验性延迟 — 许多（也许大多数）是独立的，这意味着可以同时处理许多延迟。双这些事实，以及我作为生物学家的一般经验，强烈地向我表明，有数百个如果科学家们更聪明、更善于在人类拥有大量的生物知识（再次考虑 CRISPR 的例子）。这 AlphaFold/AlphaProteo 在解决重要问题方面比人类更有效的成功，尽管几十年来精心设计了物理建模，但提供了原理证明（尽管 narrow 工具），这应该指明前进的方向。

因此，我猜测强大的 AI 至少可以以 10 倍的速度发现这些发现，从而给我们带来下一个 50-100 年的生物进步在 5-10 年内。14为什么不是 100 倍？也许这是可能的，但这里两者都是串行依赖实验时间变得很重要：在 1 年内取得 100 年的进步需要做很多事情第一次就做对，包括动物实验和设计显微镜或昂贵的实验室设施。实际上，我对我们可以在 5-10 年内获得 1000 年的进步的想法持开放态度（也许听起来很荒谬），但对我们能否在 1 年内获得 100 年持怀疑态度。另一种说法是，我认为存在一个不可避免的恒定延迟：实验和硬件设计具有一定的“延迟”，并且需要按顺序迭代一定的“不可简化”次数学习无法逻辑推断的东西。但是，在那15.

临床试验呢？尽管有很多官僚主义和与之相关的放缓，但事实是，他们的缓慢在很大程度上（尽管绝不是全部）最终源于需要严格评估几乎不起作用或效果模糊的药物。可悲的是，大多数疗法都是如此今天：普通的抗癌药物可以将生存期提高几个月，同时具有明显的副作用需要仔细衡量（阿尔茨海默病药物也有类似的故事）。这导致了巨大的研究（为了获得统计功效）和监管机构的艰难权衡通常不擅长制作，同样是因为官僚主义和竞争的复杂性利益。

当某件事运行得非常好时，它会进行得更快：有一个加速的审批轨道和易用性当效应量较大时，赞成率要高得多。用于 COVID 的 mRNA 疫苗于 9 年获得批准几个月——比平常快得多。也就是说，即使在这些情况下，临床试验仍然太慢——mRNA 疫苗可以说应该在 ~2 个月内获得批准。但是这些类型的延迟（一种药物端到端 ~1 年）加起来具有大规模并行化和需要一些但不是太多的迭代（“几次尝试”）是非常与 5-10 年的彻底转变兼容。更乐观的是，人工智能支持的生物科学可能会减少临床迭代的需求通过开发更好的动物和细胞实验模型（甚至模拟）进行试验，这些模型准确预测人类将会发生什么。这在开发过程中尤为重要对抗衰老过程的药物，这个过程持续了几十年，我们需要一个更快的迭代循环。

最后，关于临床试验和社会障碍的话题，值得明确指出的是在某些方面，生物医学创新有着异常出色的成功记录部署，与其他一些技术形成鲜明对比16.正如引言中提到的，许多技术都受到社会因素尽管在技术上运作良好。这可能表明对 AI 可以完成。但生物医学的独特之处在于，尽管开发药物的过程是过于繁琐，一旦开发出来，它们通常会被成功部署和使用。

综上所述，我的基本预测是，人工智能支持的生物学和医学将使我们能够将人类生物学家在未来 50-100 年内取得的进展压缩为 5-10 年年。我将这称为“压缩的 21 世纪”：在强大的 AI 之后发展起来，我们将在几年内取得生物学和医学本来会取得的所有进步在整个 21 世纪。

尽管预测强大的 AI 在几年内能做什么本身仍然很困难，而且投机问“在未来 100 年里，人类可以独立做些什么？只是看看我们在 20 世纪取得的成就，或者从前 2 个十年推断这 21 号，或者问“10 个 CRISPR 和 50 个 CAR-T”会给我们带来什么，都提供了实用、扎实的方法自估计我们可能期望强大的 AI 取得的总体进展水平。

下面我尝试列出我们可能期待的内容。这并非基于任何严格的方法，和几乎可以肯定的是，在细节上是错误的，但它试图跨越我们应该预料到的激进主义的一般水平：

可靠地预防和治疗几乎所有17 自然感染疾病。 鉴于 20 世纪抗击传染病的巨大进步，我们并不激进想象一下，我们或多或少可以在压缩的 21 世纪 mRNA 疫苗中“完成工作”。mRNA 疫苗和类似技术已经为“万物疫苗”指明了方向。传染病是否完全根除来自世界（而不是仅仅在某些地方）取决于关于贫困的问题和不等式，将在第 3 节中讨论。
消除大多数癌症。癌症死亡率一直在下降 ~2% 过去几十年每年;因此，我们正朝着消除第 21 名世纪。一些亚型已经基本治愈（对于例如使用 CAR-T 疗法的某些类型的白血病），我可能对非常有选择性感到更加兴奋药物它针对婴儿期的癌症并防止其生长。AI 还将使可能的治疗方案非常精细地适应癌症的个体化基因组——这些是可能今天，但在时间和人类专业知识方面非常昂贵，AI 应该允许我们进行扩展。死亡率和发病率似乎有可能降低 95% 或更多。也就是说，癌症是极其多样且适应性强，可能是这些疾病中最难完全摧毁的。它如果各种罕见、困难的恶性肿瘤持续存在，也就不足为奇了。
对遗传病的非常有效的预防和治愈。大大改良胚胎筛查可能会使预防大多数遗传疾病成为可能，并且有些更安全、更可靠 CRISPR 的后代可以治愈现有人群的大多数遗传疾病。全身疾病那然而，影响很大一部分细胞可能是最后的坚持。
预防阿尔茨海默病。我们很难弄清楚是什么原因阿尔茨海默病（它与 β-淀粉样蛋白有某种关系，但实际细节似乎非常复杂）。它似乎正是可以用更好的测量工具解决的问题类型，这些工具隔离生物效应;因此，我看好 AI 解决它的能力。很有可能能最终通过相对简单的干预措施来预防，一旦我们真正了解了什么是继续。也就是说，已经存在的阿尔茨海默病造成的损害可能很难逆转。
改进了大多数其他疾病的治疗。这是一个包罗万象的类别其他疾病包括糖尿病、肥胖症、心脏病、自身免疫性疾病等。大部分这些似乎比癌症和阿尔茨海默氏症“更容易”解决，而且在许多情况下已经处于陡峭的境地下降。例如，心脏病死亡人数已经下降了 50% 以上，简单的干预措施如 GLP-1 激动剂已经在对抗肥胖和糖尿病。
生物自由度。过去 70 年的特点是节育方面的进步，生育能力、体重管理等等。但我怀疑 AI 加速生物学将大大扩展可能的：重量、外貌、繁殖和其他生物过程将完全由人们控制。我们将在 生物自由的标题：每个人都应该有权选择他们想要的东西的理念自成为并以最吸引他们的方式生活。当然会有重要关于全球机会平等的问题;有关这些内容，请参见第 3 节。
人类寿命翻倍18. 这似乎很激进，但预期寿命增加了在 20 世纪几乎是 2 倍（从 ~40 年到 ~75 年），因此 “compressed 21st” 会再次将其翻倍为 150。显然，减缓所涉及的干预措施这实际的老化过程将与上个世纪所需的不同，以防止（主要是儿童）因疾病过早死亡，但变化的幅度不是史无前例19.具体已经存在将大鼠的最大寿命延长 25-50% 且不良影响有限的药物。和一些动物（例如某些类型的海龟）已经活了 200 岁，所以人类显然不是理论上限。据猜测，需要的最重要的东西可能是可靠的、非 Goodhart 的人类衰老生物标志物，因为这将允许实验和临床试验的快速迭代。一旦人类的寿命达到 150 岁，我们或许能够达到“逃逸速度”，从而赢得足够的时间最的目前活着的人将能够活到他们想活多久就活多久，尽管当然不能保证这在生物学上是可能的。

值得看看这份清单，并反思如果所有这些都是从现在起 7-12 年实现（这将符合激进的 AI 时间表）。它去了没有说这将是一场难以想象的人道主义胜利，一下子消灭了大部分这困扰人类数千年的灾祸。我的许多朋友和同事都在筹集孩子们，当这些孩子长大后，我希望任何提到疾病的事情都会对他们产生影响。道路坏血病、天花或腺鼠疫瘟疫听起来。这一代人也将受益于增加的生物自由度和自我表达，如果运气好的话，他们也可以随心所欲地活多久。

很难高估这些变化对除了小社区之外的每个人的惊讶程度之期待强大 AI 的人。例如，美国有数千名经济学家和政策专家目前正在争论如何保持社会保障和医疗保险的偿付能力，以及更广泛地说如何保持降低医疗保健成本（主要由 70 岁以上的人消费，尤其是那些癌症等绝症）。这些计划的情况可能会非常彻底改进如果这一切都成为现实20如这劳动年龄与退休人口的比例将发生巨大变化。毫无疑问，这些挑战将是取而代之的是其他方法，例如如何确保广泛获得新技术，但它确实是值得反思世界将发生多大的变化，即使生物学是唯一的领域 成功由 AI 加速。

2. 神经科学与心灵

在上一节中，我主要关注物理疾病和生物学，并没有盖神经科学或心理健康。但神经科学是生物学的一个分支学科，而心理健康是只与身体健康一样重要。事实上，如果有的话，心理健康甚至会影响人类福祉更多直接比身体健康。数亿人的生活质量非常低，因为成瘾、抑郁、精神分裂症、低功能自闭症、创伤后应激障碍、精神病等问题21或智力障碍。还有数十亿人与日常问题作斗争，这些问题通常可以被解释为更温和的版本之这些严重的临床疾病之一。与一般生物学一样，它可能可以超越解决问题以提高人类体验的基线质量。

我为生物学制定的基本框架同样适用于神经科学。该字段为推动向前推进少量发现，通常与测量或精确的工具有关介入 – 在上面的列表中，光遗传学是一项神经科学发现，最近的 CLARITY 和扩展显微镜是进展同样，除了许多通用的细胞生物学方法直接延续到神经。我认为人工智能将同样加速这些进步的速度，因此那 “5-10 年内 100 年的进步”框架适用于神经科学，其方式与 does 到生物学，原因相同。与生物学一样，20 世纪神经科学的进步是巨大 – 例如，我们甚至不了解神经元是如何或为什么触发的，直到因此，预期 AI 加速的神经科学将快速产生似乎是合理的几年来的进步。

我们应该在这个基本图景中添加一件事，那就是我们所拥有的一些东西博学（或正在学习）人工智能本身可能有助于推进神经科学，便它仍然只能由人类完成。可解释性就是一个明显的例子：尽管生物神经元表面上以与人工神经元完全不同的方式运作（它们通过峰值，并且经常是峰值速率，因此人工神经元中不存在时间元素，并且堆与细胞生理学和神经递质相关的细节修改了它们的操作基本上），基本问题“如何执行组合的简单单元的分布式、训练网络 linear/non-linear operations work together to perform important computations“是相同的，并且 I 强烈怀疑单个神经元通信的细节在大多数情况下会被抽象出来这关于计算和电路的有趣问题22.仅举一个例子，计算人工智能系统中的可解释性研究人员发现的机制最近在老鼠的大脑。

在人工神经网络上做实验比在真实神经网络上做实验要容易得多（后者通常是需要切入动物的大脑），因此可解释性很可能成为改进我们的对神经科学的理解。此外，强大的 AI 本身可能能够发展并比人类更好地应用这个工具。

不过，除了可解释性之外，我们从 AI 中学到的关于如何训练智能系统的信息应该（尽管我不确定它是否已经）引起神经科学的一场革命。什么时候我当时在神经科学领域工作，很多人都关注我现在认为错误的事情问题关于学习，因为缩放假设/苦涩教训的概念没有存在。一个简单的目标函数加上大量数据可以驾驶极其复杂的行为使得理解目标函数和架构偏见和不太有趣的理解 emergent computation 的细节。我有近年来没有密切关注这个领域，但我隐约感觉到 Computational 神经科学家仍然没有完全吸收这个教训。我对缩放假说的态度是总是“啊哈 – 这是对智能如何运作及其运作方式的高层次解释容易进化“，但我不认为这是一般神经科学家的观点，部分原因是缩放假设作为“智能的秘密”即使在 AI 中也没有被完全接受。

我认为神经科学家应该尝试将这一基本见解与特殊性相结合之人脑（生物物理学限制、进化历史、拓扑学、运动细节和感官 inputs/outputs）来尝试解决神经科学的一些关键难题。有些人可能是，但我怀疑这还不够，AI 神经科学家将能够更有效地利用这一点角度设置为加快进度。

我预计 AI 将沿着四条不同的路线加速神经科学的进步，所有这些路线都可以希望携手治愈精神疾病，改善功能：

传统的分子生物学、化学和遗传学。这本质上是与第 1 节中的普通生物学故事相同，AI 可能会通过相同的方式加快速度机制。有许多药物可以调节神经递质以改变大脑功能，影响警觉性或感知力、改变情绪等，人工智能可以帮助我们发明更多。人工智能也可能加速对精神疾病遗传基础的研究。
精细的神经测量和干预。这是量许多单个神经元或神经元回路正在做什么，并进行干预以改变它们的行为。光遗传学和神经探针是能够进行测量和对活生物体的干预，以及一些非常先进的方法（如 Molecular Ticker 磁带来读取大量单个神经元的放电模式）也被提出来，并且似乎原则上是可能的。
高级计算神经科学。如上所述，具体的 Insights 和现代 AI 的格式塔或许可以卓有成效地应用于系统神经科学中的问题，包括揭示真实的原因以及精神病或情绪障碍等复杂疾病的动态。
行为干预。鉴于重点放在神经科学的生物学方面，但精神病学和心理学当然已经发展了广泛的 20 世纪行为干预的曲目;按理说人工智能也可以加速这些，既可以开发新方法，也可以帮助患者粘添加到现有方法中。更广泛地说，“AI 教练”的想法总是帮助你成为最好的你自己，研究你的互动并帮助你学习更有效，似乎非常有前途。

我猜想，这四种进步途径一起工作，就像身体疾病一样，会是上跟踪导致未来 100 年治愈或预防大多数精神疾病，即使 AI 是不参与其中，因此可能在 5-10 年 AI 加速的时间内合理地完成。具体来说，我的猜测在将发生的事情是这样的：

大多数精神疾病或许可以治愈。我不是精神病学专家疾病（我在神经科学方面的时间花在构建探针来研究一小群神经元上）但这是我的猜想像创伤后应激障碍、抑郁症、精神分裂症、成瘾等疾病是可以弄清楚的，并且通过上述四个方向的某种组合非常有效地治疗。答案很可能自是 “something went wrong biochemistry” 的某种组合（尽管它可能非常复杂）和 “神经网络在高层次上出了点问题”。也就是说，它是一个系统神经科学问题——尽管这并不能说明行为干预的影响上面讨论过。用于测量和干预的工具，尤其是对活体人类的测量和干预，似乎是可能的自导致快速迭代和进步。
非常“结构性”的条件可能更困难，但并非如此不可能。有一些精神病与明显的神经解剖学差异相关的证据 – 一些精神病患者的大脑区域只是更小或更不发达。人们也认为精神病患者自从小就缺乏同理心;无论他们的大脑有什么不同，它可能总是如此那道路。某些智力障碍和其他疾病可能也是如此。重组大脑听起来很难，但这似乎也是一项回报率很高的任务情报。也许有一些方法可以哄骗成人大脑更早或更可塑状态，以便对其进行重塑。我非常不确定这怎么可能，但我的直觉是是对 AI 可以在这里创造的东西持乐观态度。
对精神疾病进行有效的遗传预防似乎是可能的。最精神疾病部分遗传性和全基因组关联研究正在启动自在识别相关因素方面获得牵引力，这些因素通常很多。它将可能可以通过胚胎筛查来预防大多数这些疾病，类似于故事患有身体疾病。一个区别是精神疾病更可能是多基因的（许多基因都有贡献），因此由于复杂性，在不知不觉中选择反对与疾病相关的积极特征。然而，奇怪的是，在最近年的 GWAS 研究似乎表明，这些相关性可能被夸大了。无论如何，AI 加速神经科学可以帮助我们弄清楚这些事情。当然，胚胎筛查复杂性状引发了许多社会问题，并且会引起争议，尽管我猜大多数人将支持筛查严重或使人衰弱的精神疾病。
我们不认为是临床疾病的日常问题也将是解决了。我们大多数人都有日常的心理问题，这些问题通常不被认为是上升到的这临床疾病的水平。有些人很容易生气，有些人难以集中注意力或正在经常昏昏欲睡，有些人感到恐惧或焦虑，或者对变化反应不佳。今天，药物已经存在帮助例如警觉性或专注力（咖啡因、莫达非尼、利他林），但与许多其他以前的地区可能性可能更大。可能还有更多这样的药物存在，但还没有发现，也可能有全新的干预方式，例如靶向光刺激（参见上面的光遗传学）或磁场。考虑到我们在这 20 世纪的那个调优认知功能和情绪状态，我非常看好 “压缩 21 日”，每个人都可以让他们的大脑表现得更好一点，并拥有更多的充实的日常体验。
人类基线体验可以好得多。更进一步，许多人经历过非凡的启示、创意灵感、同情心、实现超越、爱、美丽或冥想的平静。这些经验因人而异，同一个人内部在不同时间差异很大，并且可以也有时由各种药物触发（尽管通常有副作用）。所有这些都表明那 “可能体验的空间”非常广泛，而且很大一部分人民生活可以由这些非凡的时刻组成。也可能可以提高各种全面的认知功能。这也许是神经科学版本的“生物自由“或”延长寿命”。

一个经常出现在科幻小说中对 AI 的描述中，但我故意没有讨论的话题这里是“Mind Upuploading”，即捕捉人脑的模式和动态的想法，以及在 Software 中实例化它们。这个主题本身可以成为一篇文章的主题，但是足够可以说，虽然我认为上传几乎肯定是可能的原则上，它在实践中面临着重大的技术和社会挑战，即使强人工智能，这可能使其超出了我们正在讨论的 5-10 年窗口。

总之，AI 加速的神经科学可能会极大地改善甚至治愈最精神疾病以及大大扩展了“认知和精神自由”和人类认知和情感能力。它将与身体健康的改善一样彻底在上一节。也许世界在外面不会有明显的差异，但世界如人类体验将是一个更好、更人性化的地方，也是一个提供更大的自我实现机会。我还怀疑心理健康的改善会改善许多其他社会问题，包括那些看起来是政治或经济的问题。

3. 经济发展与贫困

前两节是关于开发治愈疾病和改进的新技术这人类生活质量。然而，从人道主义的角度来看，一个明显的问题是：“将每个人都可以使用这些技术吗？

开发治愈疾病的方法是一回事，根除疾病是另一回事这世界。更广泛地说，许多现有的卫生干预措施尚未在任何地方得到应用世界，就此而言，一般的（非健康）技术改进也是如此。另一种说法是，世界许多地方的生活水平仍然非常高差：人均 GDP 为撒哈拉以南非洲为 ~2,000 美元，而美国为 ~75,000 美元。如果 AI 进一步增加发达国家的经济增长和生活质量，而对发展世界，我们应该将其视为可怕的道德失败和对真正人道主义的污点前两个部分的胜利。理想情况下，强大的人工智能应该帮助发展中国家赶上直到发达国家，即使它彻底改变了后者。

我对 AI 能够解决不平等和经济增长问题的信心不如我对它能发明的信心基础技术，因为技术对智能的回报如此明显（包括绕过复杂性和缺乏数据的能力），而经济涉及大量来自人类的约束，以及大量的内在复杂性。我有点怀疑那人工智能可以解决著名的“社会主义计算问题”23而且我认为政府不会（或应该）交出他们的经济政策分配给这样的实体，即使它可以这样做。还有一些问题，比如 how how 说服人们接受有效但可能会怀疑的治疗方法。

发展中国家面临的挑战因普遍的腐败而变得更加复杂私营和公共部门。腐败造成了一个恶性循环：它加剧了贫困，并且贫困回合滋生更多的腐败。人工智能驱动的经济发展计划需要考虑腐败问题，薄弱的机构，以及其他非常人性化的挑战。

尽管如此，我确实看到了乐观的重要理由。疾病已被根除，许多国家已经从穷人变成了富人，很明显，这些任务所涉及的决策表现出来高回归智能（尽管人类的限制和复杂性）。因此，AI 可能会做到这一点比他们目前所做的要好。也可能有针对性的干预措施来绕过人类限制，AI 可以关注。但更重要的是，我们必须尝试。Both AI 公司而发达国家的政策制定者需要尽自己的一份力量，确保发展中国家不会被遗漏;道德要求太大了。所以在本节中，我将继续乐观案例，但请记住，成功并不能保证，而是取决于我们的集体努力。

下面我对发展中国家 5 到 10 年的情况进行一些猜测开发强大的 AI 后：

健康干预措施的分布。我可能最擅长的地区乐观的正在世界各地分发健康干预措施。疾病实际上已经根除自上而下的运动：天花在 1970 年代被完全消灭，脊髓灰质炎和麦地那龙线虫几乎被消灭每年根除少于 100 例。数学上复杂的流行病学模型发挥着积极的作用角色在疾病根除运动中，似乎很可能有空间比人类更聪明 AI 系统比人类做得更好。配送物流大概可以也得到极大的优化。作为 GiveWell 的早期捐助者，我学到的一件事是，一些健康慈善机构比其他人更有效; 希望 AI 加速的努力会更加有效。此外，一些生物进步实际上使配送物流变得更加容易：例如，疟疾已经难以根除，因为每次感染疾病都需要治疗;一个疫苗只需接种一次使物流变得更加简单（并且此类疫苗疟疾实际上是目前正在开发中）。甚至更简单的分发机制也是可能的：一些疾病原则上可以通过针对它们的动物载体来根除，例如释放蚊子感染了一种细菌，这种细菌会阻止它们携带疾病的能力（然后感染所有其他细菌蚊子）或简单地使用基因驱动器来消灭蚊子。这需要一个或多个集中行动，而不是必须单独治疗数百万人的协调活动。总的来说，我认为 5-10 年是一个合理的时间表，因为其中很大一部分（可能是 50%）。 AI 驱动型健康益处甚至可以传播到世界上最贫穷的国家。一个好的目标可能是为发展中国家 5-10 年后，强大的 AI 至少比这发达国家是今天的，即使它继续落后于发达国家。完成这当然，这需要在全球健康、慈善事业、政治宣传和多其他努力，AI 开发人员和政策制定者都应该提供帮助。
经济增长。发展中国家能否迅速赶上发达国家世界不仅在健康方面，而且在经济方面？这有一些先例：在在 20 世纪的最后几十年，一些东亚经济体实现了持续 ~10% 的年度实际 GDP 成长率，使他们能够赶上发达国家。人类经济规划者制定了导致这一成功的决策不是通过直接控制整个经济体，而是通过拉动一个很少有关键杠杆（例如出口导向型增长的产业政策，以及抵制诱惑自依赖自然资源财富）;“人工智能财长和央行行长” 可以复制或超过这 10% 的成就。一个重要的问题是如何获得发展世界各国政府在尊重自决原则的同时采用它们——有些政府可能会对此充满热情，但其他人可能会持怀疑态度。从乐观的一面来看，许多这前一个要点中的健康干预措施可能会有机地增加经济生长：根除艾滋病/疟疾/寄生虫将对生产力更不用说一些神经科学干预措施（例如改进情绪和焦点）在发达国家和发展中国家都会如此。最后，非健康 AI 加速技术（例如能源技术、运输无人机、改进的建筑材料更好的物流和配送，等等）可能会自然地渗透到世界;为例甚至手机也通过市场机制迅速渗透到撒哈拉以南非洲地区，而无需慈善工作。从更消极的一面来看，虽然 AI 和自动化有很多潜力好处，但它们也对经济发展构成了挑战，特别是对尚未工业化。寻找确保这些国家仍能发展和改进的方法在日益自动化的时代，他们的经济对经济学家来说是一个重要的挑战，并且政策制定者需要解决。总的来说，一个梦想的场景——也许是一个目标——将是每年 20% 国内生产总值增长率，其中 10% 来自人工智能支持的经济决策，以及这 AI 加速技术的自然传播，包括但不限于健康。如果实现，这将使撒哈拉以南非洲在 5-10 年内达到中国目前的人均 GDP，而将其他大部分发展中国家提高到高于当前美国 GDP 的水平。再这是一个梦想的场景，而不是默认发生的事情：这是我们所有人都必须努力的事情一起使可能性更大。
粮食安全24.作物技术的进步肥料和杀虫剂、更高的自动化和更高效的土地利用大大提高了整个第 20 名世纪，使数百万人免于饥饿。基因工程目前正在进一步改善许多作物。寻找更多方法做这以及提高农业供应链的效率，可以给我们带来 AI 驱动型第二个果岭 Revolution 的 Revolution 合作，帮助缩小发展中国家和发达国家之间的差距。
减缓气候变化。气候变化将在这发展中国家，阻碍其发展。我们可以预期 AI 将导致减缓或防止气候变化、大气碳去除和将清洁能源技术转化为实验室培育肉类，减少我们对碳密集型工厂的依赖农业。当然，如上所述，技术并不是限制进步的唯一因素气候变化——与本文讨论的所有其他问题一样，人类社会因素是重要。但是，我们有充分的理由认为，人工智能增强的研究将为我们提供以下方法：做缓解气候变化的成本和破坏性大大降低，使许多反对意见变得毫无意义和让发展中国家自由地取得更大的经济进步。
国家内部的不平等。我主要谈到了全球不平等现象（我确实认为这是它最重要的表现），但当然也有不平等存在于国家 / 地区内。采用先进的健康干预措施，尤其是激进的增加在寿命或认知增强药物中，肯定会有合理的担忧，这些技术“只为富人服务”。我对国内不平等更加乐观尤其是在发达国家，原因有两个。首先，市场在发达世界，并且市场通常擅长降低高价值技术的成本时间25.二、发达世界政治机构对其公民的反应更迅速，并且具有更强的国家能力执行普遍接入计划——我希望公民要求获得如此从根本上改善生活质量。当然，这样的要求并不是预先确定的 succeed 和这是另一个我们共同必须尽我们所能确保公平社会的地方。有一个单独的问题，即财富不平等（与获得财富的机会不平等相反拯救生命和增强生活的技术），这似乎更难，我在第 5 节中对此进行了讨论。
选择退出问题。发达国家和发展中国家都关心一个问题是 选择退出 AI 支持的福利（类似于反疫苗运动，或卢德分子更普遍的动作）。最终可能会出现不良的反馈循环，例如，最不能做出正确决策的人选择退出能够改进的技术他们决策能力，导致差距不断扩大，甚至创造了一个反乌托邦 underclass 的 democracy，我将在下一节中进一步讨论这个话题）。这将再次将一个对 AI 的积极进步的道德污点。这是一个很难解决的问题，因为我认为是的从道德上讲，胁迫人们是可以的，但我们至少可以尝试提高人们的科学性理解——也许 AI 本身可以帮助我们解决这个问题。一个充满希望的迹象是，从历史上看反技术运动与其说是咬人，不如说是吠叫：对现代技术的抨击是受欢迎，但大多数人最终都会采用它，至少在个人选择的问题上是这样。个人倾向于采用大多数健康和消费技术，而真正与核电一样，受阻往往是集体政治决策。

总的来说，我对迅速将人工智能的生物学进步带给发展中的人们持乐观态度世界。尽管没有信心，但我对 AI 也可以实现前所未有的经济增长充满希望率并允许发展中国家至少超过发达国家现在的水平。我很担心关于发达国家和发展中国家的“选择退出”问题，但怀疑它会彼得随着时间的推移，AI 可以帮助加速这一过程。这不会是一个完美的世界，那些谁落后不会完全赶上，至少在最初几年不会。但随着我们部分，我们或许能够让事情朝着正确的方向快速发展。如果我们这样做，我们可以在至少是我们欠每个人的尊严和平等承诺的首付款地球。

4. 和平与治理

假设前三个部分中的一切都很顺利：疾病、贫困和不平等显着降低，人类体验的基线大幅提高。它没有跟随人类苦难的所有主要原因都得到解决。人类仍然对彼此构成威胁。尽管技术进步和经济发展的趋势导致民主与和平，这是一个非常松散的趋势，经常（和最近）倒退。在 20 世纪初，人们认为他们已经将战争在他们身后;然后发生了两次世界大战。30年前，弗朗西斯·福山（Francis Fukuyama）写道：“终结之历史“和自由民主的最终胜利;这还没有发生。二十年 ago 美国政策制定者认为，与中国的自由贸易将导致它随着变得更富裕而实现自由化; 那很多事情都没有发生，我们现在似乎正朝着一个与复兴的威权主义集团的第二次冷战。而合理的理论表明互联网技术实际上可能有利于威权主义，而不是最初认为的民主（例如，在“阿拉伯之春”时期）。尝试了解 AI 的强大功能似乎很重要与和平、民主和自由等问题相交。

不幸的是，我认为没有充分的理由相信 AI 会优先或结构性地进步民主以及和平，就像我认为它将在结构上促进人类健康并缓解贫困。人类冲突是对抗性的，人工智能原则上可以帮助“好人”和“坏人”。如果任何事情，一些结构性因素似乎令人担忧：人工智能似乎可能会实现更好的宣传和监控，这两者都是独裁者工具包中的主要工具。因此，这取决于我们个人演员让事情朝着正确的方向倾斜：如果我们希望 AI 有利于民主和个人权利，我们是将不得不为那个结果而战。我对此的感受甚至比我对这件事的感受还要强烈国际不平等：自由民主和政治稳定的胜利得不到保证，甚至可能不可能，这需要我们所有人做出巨大的牺牲和承诺部分，就像过去经常发生的那样。

我认为这个问题有两个部分：国际冲突和国家。在国际方面，民主国家在世界上占据上风似乎非常重要创建强大 AI 的阶段。人工智能驱动的威权主义似乎太可怕了，无法想象，所以民主国家需要能够设定将强大的 AI 引入世界的条件，这两者都是避免被威权主义者压倒，并防止威权主义者内部的人权侵犯国家。

我目前猜测最好的方法是通过“协约策略”26，民主国家联盟寻求自通过保护其供应链，在强大的 AI 上获得明显的优势（即使只是暂时的），缩放快速，并阻止或延迟对手对芯片和半导体设备。这个联盟一方面将利用人工智能来实现强大的军事力量优势（大棒），同时提供分配强大 AI 的好处（胡萝卜）更改为越来越广泛的国家集团，以换取支持联盟的战略民主（这有点类似于“原子促进和平”）。该联盟的目标是获得更多和更多孤立我们最糟糕的对手，并最终将他们置于是最好与世界其他地区讨价还价：放弃与民主国家竞争次序获得所有好处，而不是与更强大的敌人作战。

如果我们能做到这一切，我们将拥有一个民主国家在世界舞台上发挥领导作用并拥有避免被独裁政权破坏、征服或破坏的经济和军事实力，和或许能够将他们的 AI 优势转化为持久的优势。这可能会乐观地导致自一个“永恒的 1991”——一个民主国家占上风、福山梦想得以实现的世界。同样，这将非常难以实现，尤其需要密切合作之间私营 AI 公司和民主政府，以及关于胡萝卜加大棒之间的平衡。

即使一切顺利，也留下了每个国家内部民主与专制之间斗争的问题。显然很难预测这里会发生什么，但我确实有一些乐观地认为，鉴于民主国家控制着最强大的 AI 的全球环境，那么 AI 实际上可能在结构上有利于任何地方的民主。特别是，在此环境民主政府可以利用其卓越的 AI 来赢得信息战：他们可以反击影响和专制政权的宣传操作，甚至可能能够创造一个全球自由的信息环境，以专制政体缺乏的方式提供信息和 AI 服务渠道阻止或监控的技术能力。可能没有必要进行宣传，只需打击恶意攻击并解锁信息自由流动。虽然不是立即的，但 a 级别像这样的竞争环境很有可能逐渐使全球治理向民主有几个原因。

首先，在所有条件相同的情况下，第 1-3 节中生活质量的提高应该促进民主：从历史上看，他们至少在某种程度上是这样。特别是我期望在精神上有所改善健康福祉和增加民主的教育，因为这三者都与对威权领导人的支持呈负相关。一般来说，人们希望更多当他们的其他需求得到满足时，他们就会自我表达，而民主是自我表达。相反，威权主义在恐惧和怨恨中蓬勃发展。

其次，只要这威权主义者无法审查它。未经审查的 AI 还可以为个人带来强大的工具破坏专制政府。专制政府通过剥夺人们某种种类的生存之常识，让他们无法意识到“皇帝没衣服”。例如 Srđa 波波维奇曾帮助推翻塞尔维亚的米洛舍维奇政府，他撰写了大量文章大约在心理上剥夺威权者权力、打破魔咒和集结支持反对独裁者。波波维奇的超人般有效的 AI 版本（其技能似乎就像他们有很高的情报回报一样）放在每个人的口袋里，独裁者无能为力自阻止或审查，可能会在世界各地的持不同政见者和改革者背后掀起一股风。自说同样，这将是一场漫长而持久的战斗，胜利是不确定的，但如果我们设计并以正确的方式构建 AI，这至少可能是一场无处不在的自由倡导者的战斗有一个优势。

与神经科学和生物学一样，我们也可以问事情如何“比正常情况更好”——而不仅仅是如何避免专制，但如何使民主国家比今天更好。即使在民主国家内部，不公正的事情一直在发生。法治社会向公民承诺，每个人在法律面前是平等的，每个人都有权享有基本人权，但显然人们确实如此不在实践中始终获得这些权利。这个承诺甚至部分实现，使它值得骄傲的是，但 AI 能帮助我们做得更好吗？

例如，人工智能能否通过更多地做出决策和流程来改善我们的法律和司法系统不偏不倚？今天，人们在法律或司法背景下最担心人工智能系统会成为歧视的原因，这些担忧很重要，也需要是被防守。与此同时，民主的活力取决于对新技术的利用自改善民主制度，而不仅仅是应对风险。真正成熟和成功 AI 的实施有可能减少偏见，对每个人都更公平。

几个世纪以来，法律制度一直面临着法律旨在保持公正的困境，但事实并非如此本质上主观的，因此必须由有偏见的人来解释。试图使法律完全机械化没有之所以有效，是因为现实世界是混乱的，并且不能总是用数学公式来捕获。相反法律制度依赖于众所周知的不精确的标准，例如“残酷和异常惩罚“或”完全没有挽回社会重要性“，人类则认为 interpret 和通常以表现出偏见、偏袒或武断的方式这样做。“智能合约” 加密货币并没有彻底改变法律，因为普通代码不够聪明，无法裁决都那么多的兴趣。但 AI 可能足够聪明：它是第一个能够以可重复和机械的方式做出广泛、模糊的判断。

我并不是说我们真的要用 AI 系统取代裁判，而是公平能够理解和处理混乱的现实世界情况 有对法律和司法的一些严肃的积极应用。至少，这样的系统可以工作与人类一起作为决策的辅助工具。透明度在任何此类系统中都很重要，以及可以想象，成熟的人工智能科学可以提供它：此类系统的训练过程可以是经过广泛研究和先进可解释性技术可用于查看最终模型的内部并对其进行评估隐藏偏见，以一种人类根本不可能的方式。此类 AI 工具也可用于监控在司法或警察背景下侵犯基本权利，使宪法更加自我强化。

同样，人工智能可用于汇总意见并推动公民之间的共识。解决冲突、寻找共同点和寻求妥协。这方面的一些早期想法方向已经由计算民主项目，包括与 Anthropic 的合作。更明智、更深思熟虑的公民愿意显然加强了民主制度。

AI 也有一个明显的机会来帮助提供政府服务，例如健康福利或社会服务——原则上每个人都可以获得，但在实践中往往是严重缺乏，而且在某些地方比其他地方更糟糕。这包括医疗服务、DMV、税收、社会安全性、建筑规范执行等。拥有一个非常有思想和见多识广的 AI，他的工作是以您可以理解的方式为您提供政府依法有权获得的一切 - 以及谁还可以帮助您遵守经常令人困惑的政府规则 — 这将是一件大事。递增状态能力既有助于兑现法律面前人人平等的承诺，又加强了对民主治理。服务实施不善是目前对政府27.

所有这些都是有点模糊的想法，正如我在本节开头所说，我不是几乎一样对它们的可行性充满信心，因为我对生物学、神经科学和贫困的进步充满信心减轻。他们可能是不切实际的乌托邦。但重要的是要有一个雄心勃勃的愿景，愿意有远大的梦想并尝试。人工智能作为自由保障者的愿景，个人权利和法律面前人人平等的愿景太强大了，不能不为之奋斗。第 21 名世纪人工智能驱动的政体既可以成为个人自由的更有力保护者，也可以成为希望的灯塔那有助于使自由民主成为全世界都希望采用的政府形式。

5. 工作和意义

即使前四个部分的一切都很顺利——我们不仅减轻了疾病，贫困和不平等，但自由民主成为政府的主要形式，而现有的自由主义民主国家成为更好的自己——至少还有一个重要的问题仍然存在。 “这是太好了，我们生活在这样一个技术先进的世界，也是一个公平和体面的世界“，有人可能反对者，“但是，随着人工智能无所不包，人类将如何有意义？就此而言，将如何他们在经济上生存？

我认为这个问题比其他问题更难。我并不是说我一定更我对它比对其他问题更悲观（尽管我确实看到了挑战）。我的意思是它更模糊且更难提前预测，因为它与有关如何社会是有组织的，往往只会随着时间的推移以分散的方式自行解决。为例如，历史上的狩猎采集社会可能认为，没有狩猎和各种与狩猎有关的宗教仪式，并且会想象我们的吃得饱的科技社会是没有目标的。他们也可能不明白我们的经济可以为每个人提供，或者人们可以在机械化社会中有用地服务什么功能。

尽管如此，至少值得说几句话，同时记住这句话的简短性部分根本不应该被视为我不认真对待这些问题的标志——在相反，它是缺乏明确答案的标志。

在意义问题上，我认为认为你承担的任务很可能是一个错误是仅仅因为 AI 可以做得更好而毫无意义。大多数人在以下方面都不是世界上最好的任何事情，而且这似乎并没有特别困扰他们。当然，今天他们仍然可以通过比较优势做出贡献，并可能从他们的经济价值中获得意义生产但人们也非常喜欢那些没有经济价值的活动。我花了很多时间玩电子游戏、游泳、在外面走来走去和与朋友聊天，所有这些都会产生零经济价值。我可能会花一天时间尝试在电子游戏中变得更好，或者在骑自行车时更快地 Mountain 的 Shan，对我来说，某个地方的某个人在这些事情上做得更好并不重要。在我认为意义主要来自人际关系和联系，而不是经济劳动。人们确实想要成就感，甚至是竞争感，而在后人工智能时代将是完全有可能花费数年时间用复杂的策略尝试一些非常困难的任务，类似到今天人们在开始研究项目、尝试成为好莱坞演员时所做的工作，或者发现公司28.（a）一个 AI 原则上，某个地方可以更好地完成这项任务，并且（b）这项任务在经济上不再是一项全球经济的奖励元素，在我看来并不重要。

对我来说，经济部分实际上似乎比意义部分更难。通过“经济”在此部分我指的是大多数或所有人类可能无法做出贡献的可能问题对足够先进的人工智能驱动型经济有意义。这是一个宏比单独的不平等问题，尤其是获得新技术的不平等，我在第 3 节中讨论。

首先，在短期内，我同意比较优势将继续保持人类相关，实际上可以提高他们的生产力，甚至可能在某些方面创造公平的竞争环境人类。只要人工智能只在给定工作的 90% 上表现更好，另外 10% 就会导致人类自变得高度杠杆化，增加薪酬，实际上创造了一堆新的人类工作岗位补充和放大 AI 擅长的领域，以便“10%”继续扩大自几乎雇用所有人。事实上，即使人工智能可以比人类做得 100% 好，但它在某些任务中仍然效率低下或成本高昂，或者如果资源输入到人类和 AI 的是意义上的不同，那么比较优势的逻辑继续适用。一个区域人类是可能在很长一段时间内保持相对（甚至绝对）优势的是体能世界。因此，我认为人类经济可能继续有意义，即使过了一点点我们达到“数据中心的天才国家”。

然而，我确实认为，从长远来看，人工智能将变得如此广泛有效且如此便宜，以至于它会不更长的适用。到那时，我们目前的经济结构将不再有意义，而且会有一个需要就经济应该如何组织进行更广泛的社会对话。

虽然这听起来可能很疯狂，但事实是文明已经成功地驾驭了主要经济过去的转变：从狩猎采集到农业，从农业到封建主义，从封建主义到实业主义。我怀疑需要一些新的、更奇怪的东西，而且这并不是什么一今天在设想方面做得很好。它可以像大额全民基本收入一样简单为每个人，尽管我怀疑这只是解决方案的一小部分。它可能是资本家经济，然后 AI 系统提供资源（大量的资源，因为总体经济馅饼将是巨大的）根据 AI 系统认为的某种二级经济对人类意义对人类的奖励（基于最终来自人类价值观的一些判断）。也许经济在 Whuffie 点上运行。或者，也许人类将继续具有经济价值毕竟，在某种程度上，通常的经济模型没有预料到。所有这些解决方案都具有吨可能存在的问题，并且不可能知道如果没有大量的迭代和实验。与其他一些挑战一样，我们可能不得不努力争取获得这里的好结果：剥削或反乌托邦的方向显然也是可能的，而且必须如此阻止。关于这些问题，可以写得更多，我希望在以后的某个时候能写出来。

盘点

通过上述不同的主题，我试图描绘一个世界的愿景，如果 AI 一切顺利，这个世界既合理，又比当今世界要好得多。我不知道这个是不是世界是现实的，即使它是现实的，如果没有大量的努力和许多勇敢而敬业的人的奋斗。每个人（包括 AI 公司）都需要这样做他们一部分是为了预防风险，也是为了充分实现好处。

但这是一个值得为之奋斗的世界。如果这一切真的在 5 到 10 年内发生——那就是失败之大多数疾病，生物和认知自由的增长，数十亿人的康复之分享新技术的贫困，自由民主和人权的复兴——I 怀疑每个观看它的人都会对它对他们的影响感到惊讶。我指的不是个人从所有新技术中受益，尽管这肯定会令人惊叹。我的意思是这看着一套长期存在的理想一下子在我们面前实现的经历。我认为多真的会被它感动得流泪。

在写这篇文章的整个过程中，我注意到一种有趣的紧张关系。从某种意义上说，这里所阐述的愿景是极其激进：这并不是几乎任何人都期望在未来十年发生的事情，而且会可能让许多人觉得这是一个荒谬的幻想。有些人甚至可能不认为这是可取的;它体现了价值观和不是每个人都会同意的政治选择。但与此同时，也有一些东西令人眼花缭乱显而易见的——某种过于确定的东西——仿佛有许多不同的尝试来设想一个美好的世界不可避免地大致引向这里。

在 Iain M. Banks 的 The Player of Games 中29，主角——一个叫做文化的社团的成员，这个社团是基于与我在这里列出的原则没有什么不同——前往一个压迫性的军国主义帝国在在错综复杂的战斗游戏中，由竞争决定哪个领导地位。然而，游戏是复杂足以让玩家在其中的策略倾向于反映他们自己的政治和哲学展望。主角在游戏中设法打败了皇帝，表明他的价值观（文化的价值观）代表着一种制胜策略，即使在一个由无情竞争与适者生存。一个斯科特·亚历山大（Scott Alexander）的著名文章也有同样的论点——竞争是弄巧成拙的和往往会带来一个基于同情心和合作的社会。“道德的弧线 universe“是另一个类似的概念。

我认为文化的价值观是一个成功的策略，因为它们是一百万个小的总和决定具有明确的道德力量，并且倾向于将所有人拉到同一边。基本人类公平、合作、好奇心和自主性的直觉很难反驳，而且确实如此累积在某种程度上，我们更具破坏性的冲动往往不是。很容易争辩说，儿童不该如果我们能预防疾病，就会死于疾病，并且很容易从那里争辩说每个人的孩子 同样应该得到这个权利。从那里不难说，我们应该团结起来运用我们的智慧来实现这个结果。很少有人不同意人们应该受到惩罚攻击或者不必要地伤害他人，从那里开始，惩罚应该在人之间保持一致和系统。人们应该有同样的直觉对自己的生活和选择的自主权和责任感。这些简单的直觉，如果带到他们合乎逻辑的结论，最终导致法治、民主和启蒙价值观。如果不是不可避免地，至少作为一个统计趋势，这就是人类已经走向的地方。人工智能只是提供了一个机会，让我们更快地到达那里——使逻辑更加鲜明，并且目的地清晰。

然而，它是一件超凡脱俗的美。我们有机会扮演一些小角色在让它成为现实。

感谢 Kevin Esvelt、Parag Mallick、Stuart Ritchie、Matt Yglesias、Erik Brynjolfsson、Jim 麦克拉夫， Allan Dafoe 和 Anthropic 的许多人审阅了这篇文章的草稿。

感谢 2024 年诺贝尔化学奖获得者，感谢他们一路为我们指明了方向。

脚注

allpoetry.com/All-Watched… ↩
我确实预计少数人的反应会是“这很漂亮驯服”。我认为这些人需要，用 Twitter 的话来说，“摸草”。但更重要的是，驯服从社会的角度来看是好的。我认为人们能做出的改变是有限的处理我所描述的速度可能已经接近社会所能达到的极限吸收时不会有极端的湍流。↩
我发现 AGI 是一个不精确的术语，它收集了很多科幻包袱和大肆宣传。我更喜欢“强大的 AI”或“专家级的科学与工程”，它们能说什么我没有炒作的意思。↩
在这篇文章中，我用“智能”来指代一般的问题解决方式功能可以是应用于不同的领域。这包括推理、学习、计划、和创造力。虽然我在这篇文章中用“智能”作为简写，但我承认该智能的本质是认知科学和 AI 研究中一个复杂且有争议的话题。一些研究人员认为，智能不是一个单一的、统一的概念，而是一个集合之独立的认知能力。其他人则认为智力有一个普遍的因素（克因素）支持各种认知技能。这是另一次的辩论。↩
这大约是 AI 系统的当前速度——例如，它们可以读取页面文本，并在大约 20 秒内编写一页文本，即人类做这些事情的速度是人类的 10-100 倍。随着时间的推移，较大的模型往往做这种速度较慢但功能更强大的芯片往往会使其更快;迄今为止，这两种效果大致抵消了。↩
这似乎是一个稻草人立场，但像 Tyler Cowen 和 Matt Yglesias 这样谨慎的思考者已经将其作为一个严重的问题提出来（尽管我不要认为他们完全持有观点），我不认为这很疯狂。↩
据我所知，最接近解决这个问题的经济学著作是工作 “通用技术”和“无形资产” 投资“的服务作为通用技术的补充。↩
这种学习可以包括临时学习、上下文学习或传统学习训练;两者都将受到物理世界的速率限制。↩
在混沌系统中，小误差会随着时间的推移呈指数级复合，因此甚至计算能力的巨大增加只会导致多远的微小改进提前这是可以预测的，而在实践中，测量误差可能会进一步降低这一点。↩
另一个因素当然是强大的 AI 本身有可能被使用自创建更强大的 AI。我的假设是，这可能会（事实上，可能会）发生，但它的效果将比您想象的要小，正是因为这 “降低智力的边际回报率”在这里讨论。换句话说，AI 将继续快速变得更聪明，但其效果最终会受到非智力因素，分析这些因素对 AI 之外的科学进展。↩
这些成就对我来说是一种启发，也许是最大的强人工智能用于改变生物学的现有示例。↩
“科学的进步取决于新技术、新发现和新想法可能按这个顺序。- 悉尼·布伦纳 ↩
感谢 Parag Mallick 提出这一点。↩
我不想用关于具体前途 AI 支持的科学可以做出一些发现，但这里有一些头脑风暴可能性：
— 设计更好的计算工具，如 AlphaFold 和 AlphaProteo — 即通用人工智能系统加快了我们制作专用 AI 计算生物学工具的能力。
— 更高效、更具选择性的 CRISPR。
— 更先进的细胞疗法。
— 材料科学和小型化突破带来更好的植入式设备。
— 更好地控制干细胞、细胞分化和去分化，以及从而能够再生或重塑组织。
— 更好地控制免疫系统：选择性地打开免疫系统以解决癌症问题传染病，并选择性地关闭它以解决自身免疫性疾病。↩
当然，AI 也可能有助于更聪明地选择什么 experiments 来运行：改进实验设计，从第一轮实验中学到更多东西那第二轮可以缩小关键问题的范围，依此类推。↩
感谢 Matthew Yglesias 提出这一点。↩
快速发展的疾病，如本质上是耐多药菌株将医院作为进化实验室，不断改进其电阻到治疗，可能特别顽固地处理，并且可能是那种事情那阻止我们达到 100%。↩
请注意，可能很难知道我们已经将人类的寿命延长了一倍这 5-10 年。虽然我们可能已经完成了它，但我们可能在研究中还不知道它 time-frame 的↩
这是我愿意的一个地方，尽管明显的生物学差异在治愈疾病和减缓衰老过程本身之间，而不是从一个在统计趋势上保持更大的距离，并说“即使细节是不同，我认为人类科学可能会找到一种方法来延续这一趋势;毕竟，平滑任何复杂事物的趋势都必须通过非常异质的组件。↩
举个例子，我被告知，生产率每年增长的 1% 甚至 0.5% 在与这些计划相关的预测中都是变革性的。如果想法在这篇文章中，生产力的提高可能比这。↩
媒体喜欢把事情描绘得高大地位精神病患者，但一般的精神病患者可能是一个经济状况不佳的人前景和冲动控制能力差，最终在监狱中度过了大量时间。↩
我认为这在某种程度上类似于许多（尽管可能不是）的事实都我们从可解释性中学到的结果将继续具有相关性如果我们当前人工神经网络的一些架构细节，例如注意力机制，以某种方式被改变或替换。↩
我怀疑它有点像一个经典的混沌系统——被不可简化的复杂性，必须以大部分去中心化的方式进行管理。尽管正如我在本节后面所说，更温和的干预可能是可能的。一个经济学家埃里克·布林约尔夫森（Erik Brynjolfsson）向我提出的反驳是，大公司（例如沃尔玛或优步）开始拥有足够的集中知识来理解消费者比任何去中心化过程都要好，也许迫使我们修改哈耶克的关于谁拥有最好的本地知识的见解。↩
感谢 Kevin Esvelt 提出这一点。↩
例如，手机最初是富人的技术，但迅速变得非常便宜，同比改进发生得如此之快，以至于消除了任何购买“豪华”手机的优势，今天大多数人都有类似的手机质量。↩
这是兰德公司即将发表的一篇论文的标题，大致列出了这我描述的策略。↩
当普通人想到公共机构时，他们可能会想到之他们在 DMV、IRS、医疗保险或类似职能方面的经验。制作这些经验比现在更积极似乎是打击不正当的有力方法玩世不恭。↩
事实上，在 AI 驱动的世界中，此类可能的挑战范围和项目将比现在大得多。↩
我打破了我自己的规则，不把这些放在科幻小说上，但我做到了发现至少很难不提到它。事实是，科幻小说是其中之一我们只有关于未来的广泛思想实验的来源;我想它说东西糟糕的是，它与一种特定的狭隘亚文化如此紧密地纠缠在一起。

原文地址

Dario Amodei — Machines of Loving Grace