研究人员开发了一个计算框架，使他们能够利用具身AI智能体，在数百万年的时间跨度内探索和探究视觉系统的演化。
虽然科学家无法回到过去研究塑造自然界多样化视觉系统的环境压力，但某机构研究人员开发的一个新的计算框架使他们能够在人工智能智能体中探索这种演化。
他们开发的框架让具身AI智能体能够演化眼睛，并在多代过程中学习观察，这就像一个“科学沙箱”，允许研究人员重现不同的演化树。用户通过改变世界结构和AI智能体需完成的任务（例如寻找食物或区分物体）来实现这一点。
这使得他们能够研究为何一种动物可能演化出简单的感光斑作为眼睛，而另一种动物则演化出复杂的、类似相机的眼睛。
研究人员使用该框架进行的实验展示了任务是如何驱动智能体眼睛演化的。例如，他们发现导航任务通常会导致具有许多独立单元的复眼演化，就像昆虫和甲壳类动物的眼睛一样。
另一方面，如果智能体专注于物体区分，它们则更有可能演化出带有虹膜和视网膜的相机眼。
该框架可以使科学家能够探究那些难以通过实验研究的关于视觉系统的“假设”问题。它还可以指导用于机器人、无人机和可穿戴设备的新型传感器和相机的设计，这些设备需要在性能与能耗、可制造性等现实约束之间取得平衡。
“我们永远无法完全回溯并弄清演化发生的每一个细节，但在这项工作中，我们创建了一个环境，在这个环境中，我们可以在某种意义上重现演化，并以各种不同的方式探究环境。这种科学方法开启了许多可能性，”论文的联合主导作者、某机构媒体实验室的研究生Kushagra Tiwary说道。
该论文的共同作者还包括：联合主导作者、 fellow研究生Aaron Young；研究生Tzofi Klinghoffer；前博士后Akshat Dave（现为某州立大学助理教授）；Tomaso Poggio（某机构脑与认知科学系的某教授、某研究所研究员、某中心联合主任）；共同资深作者Brian Cheung（某中心博士后、某分校即将上任的助理教授）和Ramesh Raskar（某机构媒体艺术与科学副教授、某研究组负责人）；以及某大学和某大学的其他人。该研究今日发表在《科学进展》上。
构建科学沙箱
该论文始于研究人员之间关于发现可在机器人技术等不同领域有用的新型视觉系统的对话。为了测试他们的“假设”问题，研究人员决定利用AI来探索多种演化的可能性。
“我从小就对‘假设’问题充满好奇，它们激励我学习科学。借助AI，我们有了一个独特的机会来创造这些具身智能体，让我们能够提出那些通常无法回答的问题，”Tiwary说。
为了构建这个演化沙箱，研究人员提取了相机的所有元素，如传感器、镜头、光圈和处理器，并将它们转化为具身AI智能体可以学习的参数。
他们使用这些构建块作为算法学习机制的起点，智能体将利用该机制随时间演化眼睛。
“我们无法原子级地模拟整个宇宙。确定我们需要哪些成分、不需要哪些成分，以及如何在这些不同元素上分配资源，这是一项挑战，”Cheung说。
在他们的框架中，这种演化算法可以根据环境约束和智能体任务选择演化哪些元素。
每个环境都有一个单一任务，例如导航、食物识别或追踪猎物，旨在模仿动物必须克服才能生存的真实视觉任务。智能体从一个看向世界的单一光感受器和一个处理视觉信息的关联神经网络模型开始。
然后，在智能体的生命周期中，它通过强化学习进行训练，这是一种试错技术，智能体因完成任务目标而获得奖励。环境还包含了约束，例如智能体视觉传感器的特定像素数。
“这些约束驱动了设计过程，就像我们世界中存在物理约束（如光的物理特性）一样，这些约束驱动了我们自己眼睛的设计，”Tiwary说。
经过多代，智能体演化出能够最大化奖励的视觉系统元素。
他们的框架使用一种遗传编码机制来计算模拟演化，其中个别基因发生变异以控制智能体的发育。
例如，形态基因捕捉智能体如何观察环境并控制眼睛的 placement；光学基因决定眼睛如何与光相互作用并决定光感受器的数量；神经基因控制智能体的学习能力。
检验假设
当研究人员在此框架中设置实验时，他们发现任务对智能体演化的视觉系统有重大影响。
例如，专注于导航任务的智能体会演化出旨在通过低分辨率感知最大化空间意识的眼睛，而被任务为检测物体的智能体则演化出更专注于正面视觉敏锐度而非周边视觉的眼睛。
另一项实验表明，在处理视觉信息方面，大脑并非越大越好。基于物理约束（如眼睛中光感受器的数量），一次只能有有限量的视觉信息进入系统。
“到了某个点，更大的大脑对智能体完全没有帮助，在自然界中，那将是资源的浪费，”Cheung说。
未来，研究人员希望使用这个模拟器来探索最适合特定应用的视觉系统，这可以帮助科学家开发特定任务的传感器和相机。他们还希望将LLM集成到他们的框架中，使用户更容易提出“假设”问题并研究其他可能性。
“以更具想象力的方式提问会带来真正的好处。我希望这能激励其他人创建更大的框架，让他们不再局限于涵盖特定领域的狭隘问题，而是寻求回答范围更广的问题，”Cheung说。
这项工作部分得到了某中心和某机构项目的支持。FINISHED
