最近我开源了一个实验性项目:Edge-Cloud Gateway。
项目地址:
为什么做这个项目?
现在很多应用通过 OpenAI-compatible 接口调用云端模型。面对包含大量上下文的请求,完整发送可能增加云端输入 Token;但如果简单删除或总结上下文,又可能破坏系统指令、代码、约束、工具状态和结构化数据。
Edge-Cloud Gateway 尝试在客户端和模型服务之间增加一个保守的决策层:
- 普通客户端仍然使用标准 Chat Completions 请求;
- 短请求或包含受保护内容时,完整请求直接发送到云端;
- 满足条件时,可以让本地模型选择相关的原始上下文片段;
- 如果筛选失败、不安全或没有实际缩减,就恢复完整请求;
- 明确指定时也可以执行受限制的本地模型任务。
项目优先保证请求语义完整,而不是强制压缩每一次请求。
当前已经完成什么?
目前发布的是 v0.1.0 Experimental V1,主要包括:
- OpenAI-compatible
POST /v1/chat/completions - Ollama 和通用 OpenAI-compatible Provider
- SSE 流式响应与工具调用透传
- 本地上下文选择和完整请求回退
- 路由、延迟、Token、回退和上下文缩减指标
- 默认完全离线的 Mock 模式
- 399 项自动化测试
- 36 个合成安全场景
- GitHub Actions 公开 CI
- MIT 开源许可证
默认 Mock 模式不会访问任何真实模型服务,适合先检查安装、协议和路由流程。
为什么寻找测试者?
项目目前最大的不足不是测试数量,而是缺少陌生开发者的真实使用反馈。
我希望找到 3~5 位愿意实际运行项目的开发者,帮助检查:
- README 能否让陌生用户顺利完成安装和启动?
- macOS、Linux 或 Windows/WSL 上是否存在环境问题?
- Ollama、Open WebUI 或其他兼容服务能否顺利接入?
- 路由原因、回退行为和统计指标是否容易理解?
- 哪些限制会妨碍你在真实项目中使用它?
不需要为了支持项目而盲目点 Star。一个真实的安装问题、兼容性反馈或者 GitHub Issue,会比单纯增加数字更有价值。
安全说明
这个版本仍然是实验版本,不具备客户端认证、TLS 终止和多租户隔离能力。
测试时请注意:
- 不要把服务直接暴露到公网;
- 不要提交 API Key、真实对话或私人数据;
- 建议首先使用默认离线 Mock;
- 本地数据库、日志和评测结果不要上传到公开仓库。
如果你愿意参加测试,可以直接按照 README 操作。遇到任何问题,欢迎在 GitHub 提交 Issue:
期待您非常有价值的反馈