许多工程挑战归结为同一个难题——需要调整的参数太多，而测试的机会太少。无论是优化电网还是设计更安全的车辆，每次评估的成本都可能很高，而且可能存在数百个重要变量。以汽车安全设计为例，工程师必须集成数千个部件，许多设计选择都会影响车辆在碰撞中的表现。当寻找最佳组合时，经典优化工具可能会开始感到吃力。
某机构研究人员开发了一种新方法，重新思考了如何使用一种称为“贝叶斯优化”的经典方法来解决具有数百个变量的问题。在对现实的工程风格基准（如电力系统优化）进行测试时，该方法找到顶级解决方案的速度比广泛使用的方法快10到100倍。
该技术利用了一个在表格数据上训练过的基础模型，该模型能自动识别对提高性能最重要的变量，并重复此过程以逐步找到更优的解决方案。基础模型是在海量通用数据集上训练的庞大人工智能系统，这使得它们能够适应不同的应用。研究人员的表格基础模型在寻求解决方案的过程中不需要不断重新训练，从而提高了优化过程的效率。该技术在处理更复杂问题时提供更大的加速比，因此在材料开发或药物发现等要求苛刻的应用中可能特别有用。
“现代人工智能和机器学习模型可以从根本上改变工程师和科学家创建复杂系统的方式。我们提出了一种算法，不仅可以解决高维问题，而且可重复使用，因此无需每次都从头开始，就能应用于许多问题。”计算科学与工程专业的研究生、该论文的 lead author Rosen Yu 说。
Yu 的合著者包括前某机构博士后、研究科学家 Cyril Picard，以及机械工程副教授、某机构计算科学与工程中心核心成员 Faez Ahmed。该研究将在国际学习表示会议上进行展示。
改进一种成熟方法
当科学家试图解决一个多方面的难题，但评估成功的方法很昂贵（例如通过碰撞测试汽车来判断每个设计的好坏）时，他们通常会使用一种行之有效的方法，称为贝叶斯优化。这种迭代方法通过构建一个代理模型来找到复杂系统的最佳配置，该模型有助于在考虑预测不确定性的同时估计下一步探索什么。
但是，代理模型必须在每次迭代后重新训练，当潜在解空间非常大时，这在计算上很快就会变得难以处理。此外，科学家在应对不同场景时需要从头开始构建一个新模型。
为了解决这两个缺点，某机构研究人员利用了一种称为“表格基础模型”的生成式人工智能系统，将其作为贝叶斯优化算法内部的代理模型。“表格基础模型就像是用于电子表格的 ChatGPT。这些模型的输入和输出是表格数据，在工程领域，这比语言更常见、更常用。”Yu 说。
就像大型语言模型（如 ChatGPT、Claude 和 Gemini）一样，该模型已在海量表格数据上进行了预训练。这使它能够很好地处理一系列预测问题。此外，该模型可以直接部署，无需任何重新训练。
为了使系统在优化过程中更准确、更高效，研究人员使用了一个技巧，使模型能够识别设计空间中将对解决方案产生最大影响的特征。“一辆车可能有300个设计标准，但如果你想提高某些安全参数，并非所有标准都是最佳设计的主要驱动因素。我们的算法可以智能地选择最关键的关注特征。”Yu 说。
它通过使用表格基础模型来估计哪些变量（或变量组合）对结果影响最大来实现这一点。然后，它将搜索重点放在这些高影响变量上，而不是平均地探索所有变量而浪费时间。例如，如果前部溃缩区的尺寸显著增大，并且汽车的安全等级提高了，那么该特征很可能在性能提升中发挥了作用。
更大的问题，更好的解决方案
Yu 说，他们面临的最大挑战之一是为这项任务找到最佳的表格基础模型。然后，他们需要将其与贝叶斯优化算法相连接，使其能够识别最突出的设计特征。“找到最突出的维度是数学和计算机科学中的一个知名问题，但提出一种利用表格基础模型特性的方法是一个真正的挑战。”Yu 说。
在算法框架就绪后，研究人员通过将其与五种最先进的优化算法进行比较来测试他们的方法。在60个基准问题上（包括电网设计和汽车碰撞测试等现实场景），他们的方法比其它算法始终更快地找到最佳解决方案，速度提高10到100倍。“当一个优化问题的维度越来越多时，我们的算法真正大放异彩。”Yu 补充说。
然而，他们的方法并非在所有问题上（例如机器人路径规划）都优于基线方法。Yu 说，这可能表明该场景在模型的训练数据中没有很好的定义。
未来，研究人员希望研究能够提升表格基础模型性能的方法。他们还希望将他们的技术应用于具有数千甚至数百万维度的实际问题，例如海军舰艇的设计。
“在更高层面上，这项工作指向了一个更广泛的转变：使用基础模型不仅用于感知或语言，还作为科学和工程工具内部的算法引擎，使贝叶斯优化等经典方法能够扩展到以前不切实际的领域。”Ahmed 说。
“这项工作中提出的方法，使用预训练的基础模型与高维贝叶斯优化相结合，是减少基于仿真的设计对大量数据需求的一种富有创造性且前景广阔的方法。总体而言，这项工作是为使先进设计优化更易于访问并应用于现实环境迈出的实用而有力的一步。”西北大学威尔逊-库克工程设计教授兼机械工程系主任 Wei Chen 说，他未参与这项研究。FINISHED
