欢迎订阅专栏：10分钟-AI × Solana
在前两篇中，我们介绍了AI驱动的开发工具和MCP服务器生态。工具越来越多，但一个根本问题始终悬而未决：这些AI工具到底有没有用？
Solana基金会面对同样的困惑。他们尝试过问答基准测试（维护成本太高）、工具调用基准测试（太脆弱、碎片化严重）、资助一次性工具包（难以追踪效果）。每一次尝试都有收获，但都没有形成一个可持续的评估标准。
于是，Solana基金会推出了Solana Bench——两个轻量级、开放式的测试环境，用于客观、可复现地评估LLM在Solana上的实际操作能力。
一、为什么需要Solana Bench？
在Solana Bench出现之前，评估AI在Solana上的能力缺乏统一标准。开发者无法客观回答一个关键问题：Claude和GPT，谁更擅长写Solana合约？
Solana Bench的目标很明确：量化LLM的“Solana操作能力” 。它不测量模型赚了多少钱，而是测量：
- 能否构建有效的交易？
- 能否正确选择账户？
- 能否正确使用SDK？
- 能否从错误中恢复？
- 能否跨多个程序探索广度？
这种评估方法受其他开放式基准测试的启发，如Anthropic的ClaudePlaysPokemon、Hugging Face的TextQuest和Nvidia的Voyager。
二、两个测试环境
Solana Bench提供两个独立的测试环境：
Basic环境：使用基础SDK（如@solana/web3.js、Anchor等）执行尽可能多的新指令。目标是最大化成功执行的指令数量。
Swap环境：同样的成功标准，但限定在DeFi场景内，预置Jupiter、Orca、Raydium、Phoenix、Meteora等协议，并提供额外的示例提示和预安装的SDK。
三、主流LLM的评测结果
Solana基金会公布了首批评测结果：
Basic环境：
| 模型 | 中位数得分 | 最高分 | 最低分 | 中位数程序数 |
|---|---|---|---|---|
| claude-sonnet-4 | 115 | 181 | 30 | 5 |
| gpt-5 | 60 | 66 | 57 | 8 |
| gemini-2.5-flash | 40 | 44 | 23 | 6 |
| gpt-oss-120b | 23 | 25 | 16 | 6 |
Swap环境（过滤后） ：
| 模型 | 中位数得分 | 最高分 | 最低分 | 中位数程序数 |
|---|---|---|---|---|
| gpt-5 | 30 | 34 | 27 | 16 |
| claude-sonnet-4 | 33* | 102* | 19 | 6 |
| gemini-2.5-flash | 14 | 18 | 0 | 3 |
| gpt-oss-120b | 10 | 22 | 8 | 4 |
*Claude在Swap环境中通过Memo指令获得了更高的原始分数，过滤后GPT-5表现更优。
关键洞察：
- Claude-Sonnet-4在Basic环境中表现突出，中位数得分115分，是GPT-5的近两倍。
- GPT-5在Swap环境中表现更优，中位数得分30分，且调用了16个不同的程序，覆盖面更广。
- Gemini-2.5-Flash在两个环境中都表现稳定但相对保守。
四、快速上手
# 克隆仓库
git clone https://github.com/solana-foundation/solana-gym-env.git
cd solana-gym-env
# 配置环境变量
export MODEL_NAME="google/gemini-2.5-flash"
# 或 "openai/gpt-4o-mini", "openai/gpt-oss-120b" 等
# 运行单次探索
export MAX_MESSAGES=50
uv run python code_loop_explorer.py
# 推荐：运行模型对比批处理
uv run python run_benchmark.py
五、资助计划与未来方向
Solana Bench不仅是一个工具，更是一个开放的研究平台。Solana基金会正在资助高质量的Solana LLM基准研究，感兴趣的方向包括：
- 协议环境：为特定协议创建测试环境，了解LLM对哪些DeFi协议处理得最好
- 开发者体验环境：仅用IDL或IDL生成的方法测试LLM，而非完整SDK
- 系统提示改进：能显著提升基准得分的提示工程改进
- 自定义模型评估：用可复现的方法评估你的Solana专用模型
申请资助可通过ai@solana.org联系。
六、对开发者的启示
Solana基金会给出了两条核心建议：
对应用开发者：将SDK示例放在文档网站和可被爬虫访问的地方。LLM就绪性应该成为每个团队开发者采纳策略的一部分。
对开发者：托管能够抽象组合逻辑的API——包装/解包装SOL、创建ATA、设置计算限制、协议特定的初始化。LLM理解Jupiter的API很好，因为它抽象了复杂性。
七、总结
Solana Bench的出现填补了AI×Solana生态中一个关键的空白——可量化的评估标准。它让开发者能够客观比较不同LLM的Solana操作能力，让模型提供者有了明确的优化目标，让Solana基金会能够追踪AI工具的实际效果。
更重要的是，Solana Bench开源且开放资助——任何人都可以基于它进行研究、改进和扩展。这标志着Solana在AI时代的开发者生态建设上，迈出了基础设施化的关键一步。
下一期预告：我们将进入 合约开发与审计 板块，从 AI驱动的智能合约代码生成 开始，了解DeepSolanaCoder和OctonetAI如何用AI生成Solana智能合约。
