不烧 Token 也能测试 AI 工作流:我们在 ModelRiver 做了一个 Test Mode

0 阅读3分钟

当你在开发 AI 应用时,有一个非常常见但很少被认真解决的问题:

如何安全地测试 AI 工作流?

大多数团队的现实情况是:

  • 每次测试都调用真实模型\
  • 每一次调试都在消耗 Token\
  • CI / 自动化测试成本非常高\
  • 开发阶段的日志污染生产数据

更糟糕的是,当你的 AI 工作流变复杂(多模型、fallback、structured output、webhook 等)时,调试成本会迅速上升。

所以我们在 ModelRiver 里做了一个简单但非常实用的功能:

Test Mode(测试模式)。


什么是 Test Mode

Test Mode 的思路非常简单:

当工作流运行在 Test Mode 时,不会调用任何 AI Provider,而是返回你预先定义好的 Sample Data。

也就是说:

  • 不调用 OpenAI / Anthropic / Gemini\
  • 不消耗任何 Token\
  • 响应几乎是即时的

但返回的数据结构 完全符合你定义的 Structured Output

这意味着:

你可以在 不消耗任何成本的情况下测试整个 AI workflow


一个简单例子

假设你有一个产品描述生成工作流:

{
  "product_name": "Sample Product",
  "description": "This is a test response using structured output sample data."
}

Test Mode 下:

  • AI 不会真的生成内容\
  • 系统会直接返回你定义的 sample response

但你的应用代码会认为:

这是一次正常的 AI 请求。

所以:

  • 前端逻辑\
  • API 处理\
  • Webhook\
  • 数据库写入

都可以完整测试。


为什么这个功能很重要

开发 AI 应用时,测试通常有几个阶段:

1. 工作流逻辑测试

你只是想确认:

  • workflow 是否正确执行\
  • fallback 是否触发\
  • structured output 是否符合 schema

这个阶段 完全不需要真实模型

Test Mode 可以让你:

  • 零成本测试\
  • 毫秒级响应\
  • 不影响生产日志

2. CI / 自动化测试

很多团队会在 CI 里跑 AI 测试。

但如果每次 CI 都调用 LLM:

问题就来了:

  • 成本极高\
  • 测试不稳定\
  • 速度慢

Test Mode 可以让 CI:

  • 完整测试 AI workflow\
  • 不调用任何模型\
  • 运行速度极快

3. 前端开发

前端团队经常需要:

  • 模拟 AI 响应\
  • 开发 UI\
  • 测试状态管理

Test Mode 就像:

AI 的 Mock Server。


Playground + Test Mode

在 ModelRiver 里还有一个组合非常好用:

Playground + Test Mode

Playground 可以让你:

  • 手动测试 workflow\
  • 调整 prompt\
  • 查看响应

而 Test Mode 则可以:

  • 用 sample data 模拟 AI 响应\
  • 不消耗 token\
  • 快速验证逻辑

所以开发流程通常是:

Test Mode
↓
Playground (Production)
↓
上线

什么时候使用 Test Mode

最常见的几个场景:

CI/CD 自动测试

测试:

  • workflow\
  • schema\
  • webhook\
  • fallback 逻辑

本地开发

测试:

  • API 集成\
  • 数据处理\
  • 前端逻辑

工作流调试

验证:

  • structured outputs\
  • pipeline\
  • integration

一个很真实的开发痛点

我们做 ModelRiver 时发现:

很多 AI 产品的开发过程是这样的:

改 prompt
↓
调用 OpenAI
↓
花钱
↓
发现 workflow bug
↓
再改
↓
再花钱

一个下午可能烧掉几十美元。

但其实:

90% 的测试根本不需要真实 AI。

Test Mode 的目标就是解决这个问题。


总结

AI 应用开发和传统软件开发最大的不同是:

每一次测试都可能有成本。

Test Mode 的核心价值就是:

  • 零 Token 测试\
  • 完整 workflow 验证\
  • 不污染生产数据\
  • 支持 CI / 自动化测试

简单来说:

在真正调用 AI 之前,把系统逻辑全部跑通。

如果你正在开发 AI 产品,这会让你的开发体验好很多。


👉 原文链接: modelriver.com/zh/blog/tes…