【新智元导读】刚刚，AlphaEvolve 又上大分了！基于它的开源实现 OpenEvolve，靠自学成才、自己写代码，直接在苹果芯片上进化出了比人类还快 21% 的 GPU 核函数！这一刻，是自动化编程史上真正里程碑时刻，「AI 为 AI 编程」的新时代正式开启，自动化奇点真要来了。
谷歌的 AlphaEvolve，还在不断创造新的奇迹。
在 5 月中旬，谷歌扔出的这个炸弹（号称是数学界 AlphaGo 的「第 37 步」时刻），就在不断冲击人们的认知——AI，已经拥有了自我进化能力！
随后，不断有开发者用代码证实，AlphaEvolve 的矩阵乘法突破为真！一个开发者成功证明，它仅用了 48 次乘法，就正确完成了 4×4 矩阵的乘法运算。
而就在刚刚，patched.codes 的联合创始人兼 CTO Asankhaya Sharma，用基于 AlphaEvolve 论文的开源实现 OpenEvolve，成功自动发现了高性能的 GPU 内核算法。
具体来说，通过自我进化代码，它自动发现了一套在 Apple Silicon 上远超手动优化的 GPU Metal 核函数。
在真实的 Transformer 推理任务中，它带来了平均 12.5% 的性能提升，峰值甚至飙升了 106%。
这种提升，直接超越了人类工程师 21%！
这个系统没有提供人类的 GPU 编程专业知识，就发现了以下优化——
· 完美的 SIMD 优化
· 两阶段在线 Softmax
· 针对 GQA 的特定内存布局优化
这不是一次简单的性能跃迁，而是自动化编程历史上真正的里程碑时刻——一套系统无需人类干预，就能在复杂的硬件架构中，挖掘出连专家都难以察觉的优化路径。
更重要的是，这一成就并非停留在实验室或论文中，而是在真实世界中、在苹果芯片上、在当今最主流的 AI 模型任务中，扎实地跑了出来。
由此，就证明了自动化代码优化技术在真实世界系统中的实际可用性。
它标志着一个新的时代正在开启：不再是人类为机器手写优化，而是机器开始为自己写更好的代码。
而在之后，随着硬件架构持续高速迭代，OpenEvolve 这种工具的价值还会愈加凸显——它们将发掘出那些仅凭人力极难找到的深度优化机会。
挑战：GPU 核函数优化
为什么说，OpenEvolve 攻克的这个「GPU 核函数优化」，这么有挑战性呢？
这是因为，现代 Transformer 模型严重依赖于高度优化的注意力核函数，但编写高性能的 GPU 代码却需要具备以下领域的深厚专业知识。
· 特定硬件架构的细节（如 Apple Silicon 的统一内存、SIMD 单元）
· 底层编程语言（如 Metal Shading Language）
· 数值算法设计（如注意力机制、数值稳定性）
· 内存访问模式的优化
所以，是否有可能不用人写代码，完全交给 OpenEvolve，让它自动进化，看是否能生成性能更强的 GPU 核函数代码？
为此，Sharma 决定以 Qwen3-0.6B 模型的分组查询注意力（GQA）实现为目标，来检验 OpenEvolve 的能力，看它是否能自动生成超越 MLX 生产级的「scaled_dot_product_attention」核函数的代码。
具体来说，项目的目标配置如下。
· 模型：Qwen3-0.6B（40 个查询头 : 8 个键值头）
· 硬件：配备统一内存的苹果 M 系列 GPU
· 基线：MLX 的高度优化的注意力实现方案
· 挑战：全自动发现 Metal 核函数的优化方法
进化方法
Sharma 将 OpenEvolve 配置为直接进化 Metal 核函数的源代码，同时保留其与 MLX 框架的集成方式。
整个系统从一个基础的三阶段注意力实现方案开始，历经超过 25 代的进化。
进化设置
评估策略
每一个通过进化生成的核函数都经过了以下维度的全面测试：
-
正确性验证：与 MLX 基线进行数值精度对比，确保计算结果无误。
-
性能测试：在 20 个多样化的推理场景（包括短 / 长上下文、生成任务）中进行基准测试。
-
安全性检查：包含 GPU 错误检测和 Metal 内存访问验证。
-
鲁棒性分析：通过多次重复运行进行统计分析，确保性能稳定。
关键优化
没想到，OpenEvolve 在进化过程中，自主发现了以下几项体现出算法创新的优化策略！
1. 针对 Apple Silicon 的 SIMD 优化
仔细看就会发现，OpenEvolve 的一个亮点，就是自己发现了一个非常巧妙的优化——
对于 128 维的注意力头，如果把数据按 8 个一组来处理，刚好就能完美匹配 Apple Silicon 硬件的 SIMD 宽度。
这就相当于自动踩中了硬件的「甜点区」，完全不需要任何人工调优，就能把性能直接拉满，让硬件利用率最大化！
2. 两阶段在线 Softmax（Two-Pass Online Softmax）
在这个过程中，OpenEvolve 做了一个很聪明的创新：把原来分开的两个步骤——Softmax 归一化和值累加，融合到了一个计算循环中。
原本，传统算法要三个阶段才能跑完：先算注意力得分，再归一化，再加权求和。
现在直接两步搞定，流程更简洁，还大大降低了对内存带宽的占用，自然就跑得更快、更省资源了。
3. 针对 GQA 的特定内存布局优化
在此处，OpenEvolve 的创新点在于，专门针对 Qwen3 模型的特殊结构做了优化。
这个模型的查询头与键值头的比例是特有的 40:8（即 5:1），系统充分利用了这个特性，设计出一种独特的合并内存访问（Coalesced Memory Access）的模式。
这种模式，特别适合 Apple Silicon 的统一内存架构，堪称是量身定制，效率极高，性能拉满。
评测结果
果然，最终进化生成的核函数在各项综合基准测试中，都展现出了显著的性能提升：
核心性能指标增益
-
解码速度（Decode Speed）：平均提升 + 12.5%（标准差σ = 38.3%）
-
预填充速度（Prefill Speed）：平均提升 + 14.4%（标准差σ = 17.6%）
-
总吞吐量（Total Throughput）：平均提升 + 10.4%（标准差σ = 30.7%）
-
内存使用量（Memory Usage）：平均降低 + 0.99%（标准差σ = 1.7%）
-
正确性（Correctness）：保持 100% 的数值精度
-
可靠性（Reliability）：零 GPU 错误或核函数崩溃
详细基准测试结果
而且其中最为瞩目的是，在处理重复性模式生成任务时，OpenEvolve 进化生成的核函数直接把解码速度提升了足足 106%！
如此一来也就充分证明了，这个核函数在应对特定类型的工作负载时，真的性能爆棚。
统计分析
总之，从统计结果来看，OpenEvolve 在某些特定类型的工作负载上，确实有很强的优化能力，能挖掘出原先的手写代码难以触及的性能潜力。
在 20 个不同测试任务中，它在其中 7 个任务上提升非常明显，性能增长超过了 25%，体现出了「质的飞跃」。
-
显著增益（>25%）：7/20 个基准
-
中等增益（5-25%）：3/20 个基准
-
性能持平（±5%）：4/20 个基准
-
性能回退（<-5%）：6/20 个基准
背后功臣：高鲁棒性评估系统
注意，这一项目之所以能成功，有一个关键功臣就是 OpenEvolve 背后的评估系统。
它不是普通的跑分工具，而是专门为 GPU 核函数这种「硬核」代码而设计的，专为应对 GPU 核函数开发过程中的各种挑战。
GPU 安全特性
-
命令缓冲区保护：自动检测 Metal 命令缓冲区的错误并从中恢复。
-
内存访问违规处理：安全地处理 GPU 内存访问违规。
-
重试逻辑：为瞬时 GPU 错误提供指数退避重试机制。
-
回退机制：当核函数彻底失败时，能够优雅地降级到备用方案。
全面的错误统计
技术深度剖析
面向 GPU 核函数的进化架构
此外，项目的成功也离不开 OpenEvolve 中多个组件的协同工作：
-
智能代码标记：通过特定标记，确保进化过程仅针对 Metal 核函数源代码，同时完整保留与 MLX 框架的集成代码。
-
富含上下文信息的提示词：为进化提供的提示词包含了性能数据、硬件规格和优化方向指南。
-
多目标评分机制：在性能、正确性和安全性等多个目标之间进行权衡评分。
-
特定硬件验证：所有测试和优化都针对 Apple Silicon 硬件进行。
面向 GPU 优化的提示词工程
与此同时，为进化过程提供的提示词，也给 OpenEvolve 提供了至关重要的上下文信息：
更深远的影响
总之，本次对 GPU 核函数的成功优化，揭示了以下几点重要原则：
- 专业知识的自动化探索与发现
OpenEvolve 发现的优化策略，涵盖了众多需要深厚专业知识的领域：
-
Apple Silicon 的架构细节
-
Metal 编程语言的精妙之处
-
注意力算法的各种变体
-
内存访问模式的优化
这些领域知识并非由人类工程师直接提供，而是在进化探索的过程中自主涌现的。
- 面向特定硬件的自适应优化
最终的优化方案是为 Apple Silicon 硬件量身定制的，这就表明，OpenEvolve 具备自动发掘、利用特定硬件特性的能力。
- 算法层面的创新
进化过程发现的「两阶段在线 Softmax（two-pass online softmax）」算法，本身就是一项新颖的技术贡献，应用潜力已经远远超出了本次实验的特定场景。
- 具备投产应用的价值
这些优化并非「纸上谈兵」，而是在真实的 Transformer 推理负载中能带来显著性能提升的实用技术，完全具备在生产环境中部署的价值。
核心技术架构升级
并且，自项目启动以来，Sharma 已对 OpenEvolve 的核心能力进行了显著增强：
- 可复现性（Reproducibility）
通过完全确定性的进化过程，保证科研级别的可复现性。
- 可视化（Visualization）
提供可交互的进化树视图，支持实时性能追踪。
- 岛屿进化（Island Evolution）
通过种群迁移实现并行进化，以增强解空间的探索能力。
- 稳健的检查点机制（Robust Checkpointing）
支持自动保存进度，并能从中断处恢复进化会话。
快速开始
所以，你准备好亲自上手，挑战 GPU 核函数优化或其他复杂难题了吗？
输入以下代码，就可以快速开始了：
如果想进一步了解更深入的信息，建议仔细阅读一下这几个文档。
GPU 内核优化指南：github.com/codelion/op…
参考资料：
