智能体AI的科学前沿与技术挑战
感觉我们还没有完全消化生成式AI技术（如大语言模型）的快速发展和应用，下一个现象就已经到来——即智能体AI。独立的大语言模型可以被视为"沙盒中的聊天机器人"，沙盒是一个隐喻，代表一个安全且封闭的游乐空间，与外部世界的互动有限。相比之下，智能体AI的愿景是一个近乎（或已经到来？）的未来，其中大语言模型是复杂系统的基础引擎，这些系统可以访问丰富的外部资源，如消费者应用程序和服务、社交媒体、银行和支付系统——原则上，任何您可以在互联网上访问的内容。这是AI行业几十年的梦想，智能体AI中的"智能体"是一个智能个人助手，它了解您的目标和偏好，并且您信任它在现实世界中代表您行事，就像您可能信任人类助手一样。
例如，在安排旅行计划时，我的个人智能体AI助手会知道我对航班和航空公司、住宿、租车、餐饮和活动的偏好（包括职业和娱乐）。它会知道我的日历，因此能够围绕其他承诺进行安排。它会知道我的常旅客号码和酒店账户，并能够代表我预订和支付行程。最重要的是，它不会简单地自动化这些任务，而是智能和直观地完成，单方面安静地做出"明显"的决定，但在出现模糊或细微差别时（例如那些在纽约出差时的剧院门票应该记入我的个人信用卡还是工作信用卡）务必与我确认。
对于AI业内人士来说，从生成式AI到智能体AI的进展令人兴奋但也很自然。在短短几年内，我们已经从令人印象深刻但被美化的聊天机器人（具有无数可识别的缺点）发展到功能丰富的系统，不仅在语言和图像生成方面，而且在编码、数学推理、优化、工作流规划和许多其他领域展现出类似人类的能力。核心大语言模型技能集和可靠性的提高自然促使行业"向上移动堆栈"，进入一个世界，其中大语言模型本身退居幕后，成为一种新型智能操作系统，可以在其上构建各种强大功能。就像您的PC或Mac无缝处理绝大多数用户不（想）知道的许多细节一样——比如如何在硬盘上精确存储和查找文件、连接到远程Web服务器的网络细节以及其他细粒度的操作系统细节——智能体系统努力抽象掉许多高级任务的混乱和繁琐细节，这些任务今天我们都自己执行。
但虽然智能体AI的总体愿景已经相对清晰，但关于该技术的一些基础科学和技术问题，其答案——甚至正确的表述——尚不确定（但很有趣！）。我们将在这里探讨其中一些问题。
智能体将说什么语言？
计算技术的历史特点是不断向对人类用户更友好、更易访问和更直观的系统和设备迈进。例子包括笨重的电传监视器和晦涩的命令行咒语逐渐被具有桌面和文件夹隐喻的图形用户界面所取代，以及从低级别网络文件传输协议到Web无缝易用性的演变。生成式AI本身也使以前专业化的任务（如编码）对更广泛的用户群体可访问。换句话说，现代技术是以人为中心的，为几乎没有专业培训的普通人使用和消费而设计。
但现在这些相同的技术系统也需要由智能体AI导航，尽管大语言模型对人类语言很熟练，但这可能不是它们最自然的沟通和理解模式。因此，向生成式AI本地语言的并行迁移可能即将到来。
那本地语言是什么？当生成式AI消费一段内容时——无论是用户提示、文档还是图像——它将其转换为内部表示，便于后续处理和处理。生物学中有许多这种内部表示的例子。例如，在我们自己的视觉系统中，已知某些类型的输入（如面部图像）会导致我们大脑中的特定细胞响应（一种称为神经元选择性的现象）。因此，整个重要图像类别会引发类似的神经行为。
类似地，支撑现代AI的神经网络通常将任何输入转换为所谓的嵌入空间，可以将其视为一个物理地图，其中具有相似含义的项目被放置在彼此附近，而不相关含义的项目被放置得很远。例如，在图像嵌入空间中，两个不同家庭的照片会比任何一个与风景的距离更近。在语言嵌入空间中，两部浪漫小说会比与汽车用户手册的距离更近。混合或多模态嵌入空间会将汽车图像放置在其用户手册附近。
嵌入是一种抽象，提供了巨大的力量和通用性，形式是能够表示不是字面原始内容（如一长串单词）而是更接近其潜在含义的东西。这种抽象的代价是细节和信息的丢失。例如，整篇文章的嵌入会将其放置在类似内容附近（例如，普通受众科学散文），但不会包含足够的信息来逐字重新创建文章。嵌入的有损性质具有我们稍后将返回的影响。
嵌入是从互联网和其他地方关于隐式对应关系的大量信息中学习得到的。即使是降落在地球上能读英语但对世界一无所知的外星人，也会很快意识到"医生"和"医院"密切相关，因为它们在文本中频繁接近，即使他们不知道这些词实际意味着什么。此外，嵌入不仅允许生成式AI理解现有内容，还允许它生成新内容。当我们要求一张安迪·沃霍尔风格的松鼠玩滑雪板的图片时，正是嵌入让技术能够探索在真实沃霍尔作品、松鼠和滑雪板图像之间插值的新图像。
因此，生成式（以及因此智能体）AI的固有语言不是我们如此熟悉的句子和图像，而是它们的嵌入。现在让我们重新考虑一个智能体与人类、内容和其他智能体互动的世界。显然，我们将继续期望智能体AI用普通语言和图像与人类沟通。但没有理由让智能体之间的沟通发生在人类语言中；根据上述讨论，在底层神经网络的本地嵌入语言中发生会更自然。
我的个人智能体，在制定度假行程时，可能会吸收材料，如我以前的航班、酒店和度假照片，以了解我的兴趣和偏好。但为了将这些偏好传达给另一个智能体——比如，一个汇总酒店详情、价格和可用性的智能体——它不会提供原始源材料；除了极其低效和冗余之外，这还可能带来隐私问题（更多内容见下文）。相反，我的智能体将我的偏好总结为嵌入空间中的一个点，或者可能是许多点。
通过类似的推理，我们可能也期望逐渐发展出一个"智能体Web"，专为AI导航而设计，其中网站上的文本和图像被预先翻译成对人类不可读的嵌入，但比要求智能体每次访问时自己执行这些翻译要高效得多。就像今天许多网站有英语、西班牙语、中文和许多其他语言的选项一样，会有一个智能体选项。
以上所有都假设嵌入空间在生成式和智能体AI系统之间共享和标准化。今天这不是真的：嵌入因模型而异，并且通常被认为是专有的。就好像所有生成式AI系统都说某种基础通用语的不同方言。但这些关于智能体语言和沟通的观察可能预示着AI科学家需要朝着标准化努力，至少以某种形式。每个智能体可以有一些特殊和专有的嵌入细节——例如，金融服务智能体可能希望比智能体旅行助手使用更多嵌入空间用于金融术语——但共同基础嵌入的好处是引人注目的。
保持上下文
即使是LLM的临时用户也可能知道"上下文"的概念，这非正式地是LLM记住和理解其最近互动的内容和程度，通常（至少在表面上）通过回忆的单词或标记（词部分）数量来衡量。与人类认知再次有一个恰当的隐喻，在这个意义上，上下文可以被认为是LLM的"工作记忆"。就像我们自己的工作记忆一样，它可以是选择性的和不完美的。
如果我们参与一个实验，测试我们在不同时间尺度上能记住多少随机数字或单词，如果被要求记住太多东西太久，我们最终当然会出错。但我们不会忘记任务本身是什么；我们的短期记忆可能容易出错，但我们通常掌握大局。
这些相同的属性大致适用于LLM上下文——这对用户来说有时是令人惊讶的，因为我们期望计算机在记忆方面完美，但在更抽象的任务上高度容易出错。但当我们记住LLM不是直接操作上下文中的单词或标记序列，而是该序列的有损嵌入时，这些属性变得不那么神秘（尽管当LLM不记得它刚刚几步前做的事情时可能同样令人沮丧）。
LLM技术的一些主要进步围绕上下文的改进：LLM现在可以记住和理解更多上下文，并利用该上下文以更高的准确性和复杂性定制它们的响应。这种更大的工作记忆窗口对于我们希望应用智能体AI的许多任务至关重要，例如让LLM阅读和理解大型软件开发项目的整个代码库，或复杂法律案件的所有相关文档，然后能够推理内容。
上下文及其限制将如何影响智能体AI？如果嵌入是LLM的语言，而上下文是LLM工作记忆在该语言中的表达，那么智能体间互动的一个关键设计决策将是共享多少上下文。共享太少会妨碍智能体对话的功能和效率；共享太多会导致不必要的复杂性和潜在的隐私问题（就像在人与人之间的互动中一样）。
让我们通过回到我的个人智能体来说明，它已经找到并预订了我的酒店，正在与外部航空公司航班聚合智能体合作。我的智能体自然传达大量关于我旅行偏好的上下文，可能包括我愿意支付或使用里程升级到商务舱的条件（如过夜国际航班）。但我的智能体不应传达关于我更广泛财务状况（储蓄、债务、投资组合）的上下文，即使理论上这些细节可能与我支付升级的意愿相关。当我们考虑到上下文不是我与旅行智能体的逐字历史，而是嵌入空间中的抽象总结时，关于上下文边界以及如何执行它们的决策变得困难。
实际上，这是一个相对未被触及的科学话题，研究人员才刚刚开始考虑诸如给定仅其嵌入可以关于原始数据反向工程什么等问题。虽然人类或系统提示来塑造智能体间交易可能是一个权宜之计（"确保不要告诉航班智能体任何不必要的财务信息"），但对嵌入隐私漏洞的原则性理解以及如何缓解它们（可能通过差分隐私等技术）可能是未来重要的研究领域。
智能体交易
到目前为止，我们已经谈了很多关于智能体间对话，但将这些对话处理得相当笼统，就像我们在谈论协作环境中的两个人一样。但会有重要的互动类别需要更加结构化和正式，具有所有各方承诺的可识别结果。谈判、讨价还价和其他战略互动是一个主要例子。
我显然希望我的个人智能体在为我旅行预订酒店和航班时获得尽可能最好的价格和其他条件（房间类型和景观、航班座位位置等）。聚合酒店和航班的智能体同样希望我多付而不是少付，代表它们自己的客户和用户。
为了让我的智能体在这些环境中为我的利益行事，我将需要至少指定一些关于我的偏好和支付意愿的广泛约束，而不是模糊的术语：我不能期望我的智能体简单地"看到便宜货就知道"，就像如果我处理所有安排自己可能会做的那样，特别是因为我的便宜货概念可能高度主观并依赖于许多因素。再次，一个近期的临时方法可能通过提示塑造来解决这个问题——"确保获得尽可能最好的交易，只要航班是直飞且早上出发，并且我有靠过道的座位"——但长期解决方案必须更加复杂和细粒度。
当然，谈判和讨价还价的数学和科学基础已经被博弈论者、微观经济学家和相关研究社区研究了几十年。他们的分析通常从假设所有相关方的效用函数表述开始——一个抽象捕获（例如）我的旅行偏好和支付意愿。文献还考虑了我无法定量表达自己的效用但"看到便宜货就知道"的环境，在这个意义上，给定两个选项（长途航班中间座位200美元 vs. 头等舱座位2000美元），我将做出与我未知效用一致的选择。（这恰当地命名为效用引导的领域。）
这些领域的大部分科学致力于当完全理性的各方具有精确指定的效用、完美记忆和无限计算能力来到众所周知的谈判桌时"应该"发生什么的问题；博弈论中的均衡分析只是这种研究的一个例子。但考虑到我们对LLM类人认知能力和缺点的观察，也许智能体谈判更相关的起点是行为经济学领域。行为经济学不是问当完全理性的智能体战略互动时应该发生什么，而是问当实际人类智能体战略互动时确实发生什么。这通常与完全理性智能体会做的完全不同，以有趣的方式。
例如，考虑行为博弈论中称为最后通牒游戏的典型例子。在这个游戏中，有10美元可能分配给两个玩家，Alice和Bob。Alice首先提出任何她喜欢的分配。Bob然后要么接受Alice的提议，在这种情况下双方获得他们提议的份额，要么拒绝Alice的提议，在这种情况下各方一无所获。均衡分析很简单：Alice，完全理性并知道Bob也是，向Bob提出最小的非零金额，即一美分。Bob，完全理性，宁愿收到一美分也不愿什么都没有，所以他接受。
当人类玩时，完全没有类似这样的事情发生。跨越数百个改变无数条件的实验——社会、文化、性别、财富等——出现了显著一致的聚合行为。Alice几乎总是向Bob提出3到5美元之间的份额（Alice先行动的事实似乎让双方玩家都为Bob可能获得少于一半的馅饼做好准备）。并且以Alice的提议在这个范围内为条件，Bob几乎总是接受她的提议。但在那些Alice更激进并向Bob提供远少于3美元的金额的罕见场合，Bob的拒绝率飙升。就好像成对的人——以前从未听说过或玩过最后通牒游戏——在这种环境中有一个进化上硬连线的"公平"感。
现在回到LLM和智能体AI。已经有一个小型但不断增长的文献关于我们可以称之为LLM行为博弈论和经济学，其中复制了上述实验——除了人类参与者被AI取代。一项早期工作表明，LLM几乎完全复制了人类在最后通牒游戏中的行为，以及其他经典行为经济学发现。
注意，可以通过LLM提示模拟此类实验中人类受试者的人口统计变异性，例如，"你是Alice，一个37岁的西班牙裔医疗技术员，住在马萨诸塞州波士顿"。其他研究再次显示了LLM在交易游戏、价格谈判和其他环境中的类人行为。一项非常最近的研究声称LLM甚至可以从事串通价格固定行为，并讨论了AI智能体的潜在监管影响。
一旦我们掌握了智能体AI在战略环境中的行为，我们就可以转向以期望的方式塑造该行为。经济学中的机制设计领域补充了博弈论等领域，通过提出诸如"给定智能体通常这样谈判，我们如何构建那些谈判以使它们公平和有益？"之类的问题。一个经典例子是所谓的第二价格拍卖，其中出价最高者赢得物品——但只支付第二高出价。这种设计比标准第一价格拍卖更真实，在这个意义上，每个人的最优策略是简单地出价他们对于赢或输无差异的价格（他们对物品的主观估价）；没有人需要考虑其他智能体的行为或估价。
我们预计关于这些主题的研究会激增，随着智能体讨价还价变得普遍，并成为我们委托给AI助手的重要组成部分。
常识的持久挑战
我将以关于一个从AI最早日子就一直困扰它并将在智能体时代继续这样做的主题的一些想法结束，尽管以新的和更个性化的方式。这是一个既基础又难以定义的主题：常识。
通过常识，我们指的是"明显"的事情，任何在世界上有足够经验的人都会知道而不需要明确被告知。例如，想象一个装满水的玻璃杯放在桌子上。我们都会同意，如果我们将玻璃杯在桌子上向左或向右移动，它仍然是一杯水。但如果我们把它倒过来，它仍然是桌子上的玻璃杯，但不再是一杯水（也是需要清理的混乱）。我们中任何人都不太可能曾经被坐下来并运行通过这个叙述，而且也很可能你以前从未故意考虑过这样的事实。但我们都知道并同意它们。
弄清楚如何将常识灌输给AI模型和系统几十年来一直是AI研究的优先事项。在现代大规模机器学习出现之前，有像Cyc项目（"百科全书"的缩写）这样的努力，其中一部分致力于手动构建一个常识事实数据库，如上面关于玻璃杯、桌子和水的事实。最终消费者互联网产生了足够的语言和视觉数据，许多这样的一般常识事实可以被学习或推断：向神经网络展示数百万张玻璃杯、桌子和水的图片，它会弄清楚。非常早期的研究也表明，可以直接将某些不变性（类似于在桌子上移动一杯水）编码到网络架构中，而LLM架构在现代时代同样被精心设计。
但在智能体AI中，我们期望我们的代理不仅理解我们一直在讨论的类型的通用常识事实，而且理解特定于我们自身偏好的"常识"——如果大多数人理解我们的背景和观点，他们会觉得有意义的事情。在这里，纯机器学习方法可能不够。从头开始学习我的主观版本常识不会有足够的数据。
例如，考虑您自己关于开门或关门、锁门或解锁的行为或"策略"。如果您像我一样，这些策略可能令人惊讶地细致，即使我一直不假思索地遵循它们。通常，我会在身后关门并锁门——例如，当我离开我的车或我的房子时（除非我只是马上到外面浇花）。其他时候我会让门解锁并开着，比如当我在办公室并想表示我可以与同事或学生聊天时。当我需要专注于某事或接电话时，我可能会关上但不上锁同一扇门。有时即使我不在办公室，我也会让办公室门解锁并开着，尽管里面有贵重物品，因为我信任我楼层的人，而且我就在附近。
我们可能称像这样的行为为主观常识，因为对我来说它们是自然和明显的，并且背后有好的理由，即使我几乎本能地遵循它们，就像我知道不要在桌子上把一杯水倒过来一样。但您当然在相同或类似情况下可能有非常不同的行为或策略，有您自己的好理由。
重点是，即使是像我对门和锁的行为这样显然简单的事情，也可能难以表达。但智能体AI将需要这样的规范：简单地将门替换为在线账户和服务，锁替换为密码和其他认证凭证。有时我们可能与家人或朋友共享不太关键隐私敏感资源（如Netflix或Spotify）的密码，但我们不会对银行账户和医疗记录做同样的事情。我可能对限制访问甚至加密笔记本电脑上的文件不如对存储在云中的文件严格。
我信任自己或其他智能体需要私密和安全的资源的情况至少与关于关门和锁门的情况一样复杂。主要困难不在于拥有正确的语言或形式主义来指定这样的策略：有对此类规范框架甚至证明其行为正确性的良好提议。问题在于首先帮助人们表达和翻译他们的主观常识到这些框架中。
结论
智能体AI时代尚处于起步阶段，但我们不应认为这意味着我们面前有一个漫长而缓慢的发展和采用期。我们只需要看看底层生成式AI技术的轨迹——从早在2022年几乎完全在研究圈子外未知，到现在可以说是本世纪迄今为止最重要的科学创新。确实，已经广泛使用我们可以认为是早期智能体系统的系统，如最新的编码智能体。
远远超出几年前最初的"Python自动完成"工具，此类智能体现在做得更多——从自然语言提示和描述编写工作代码，访问外部资源和数据集，主动设计实验和可视化结果，以及最重要（特别是对于像我这样的新手程序员），无缝处理环境设置、软件包安装和依赖项等无休止的复杂性。我的某中心学者和宾夕法尼亚大学同事Aaron Roth和我最近写了一篇近50页的机器学习论文——包括详细定义、定理陈述和证明、代码和实验——除了对此类工具的（有时详细）英语提示以及我们直接编写的说明文本外，没有使用任何其他东西。这在一年前是不可想象的。
尽管生成式AI以多快的速度渗透到行业和社会大众，但其科学基础可以追溯到几十年前，可以说到AI的诞生，但肯定不晚于1980年代神经网络理论和实践的发展。智能体AI——建立在这些生成式基础之上，但在其雄心和挑战上截然不同——没有这样深的科学基础可以系统构建。这都是相当新的领域。我试图在这里预测一些更基础的挑战，我可能搞错了一半。用费城百货商店大亨John Wanamaker的话来说，我只是不知道是哪一半——尚未。
