我们做了一个 AI 网关:把 LLM 的成本、安全、Agent 工具调用治理收到一层里

10 阅读1分钟

做 LLM / Agent 应用的同学大概都遇到过这些事:成本不好控、PII 和密钥可能顺着 prompt 漏出去、Agent 接了一堆工具但不知道它真到底调了啥、合规要求又一堆。

我们把这些做成了一个网关 OrcaRouter O2,所有 AI 流量过它转发,过程中做三层事:

  1. Guardrails(内容护栏):检测 PII / 密钥、提示词注入与越狱、RAG 幻觉,内置 PCI / HIPAA / GDPR 等合规预设,prompt 和(流式)响应都能扫,命中可拦截 / 脱敏 / 标记。

  2. Agent Firewall(工具调用治理):用规则控制 Agent 能调用哪些工具、按参数匹配、危险调用走人工审批,还有异常检测和单次成本上限——这块是我们觉得现有方案最缺的。

  3. 平台基础:限流、鉴权 / RBAC、SSRF 防护、按 token 绑定策略、全程审计。

目前是闭源,正在开放小范围内测,想找 ~50 个真正在跑 LLM / Agent 的开发者或团队来试,帮我们找问题。

内测福利:内测期间免费使用 官网:www.orcarouter.ai 申请加入(纸飞机群):t.me/+p-xGNzUdO4…

架构细节欢迎评论区交流。