[开源] 我做了一个端云协同 LLM 网关,寻找 3~5 位开发者真实测试

0 阅读2分钟

最近我开源了一个实验性项目:Edge-Cloud Gateway。

项目地址:

github.com/liufei14174…

为什么做这个项目?

现在很多应用通过 OpenAI-compatible 接口调用云端模型。面对包含大量上下文的请求,完整发送可能增加云端输入 Token;但如果简单删除或总结上下文,又可能破坏系统指令、代码、约束、工具状态和结构化数据。

Edge-Cloud Gateway 尝试在客户端和模型服务之间增加一个保守的决策层:

  • 普通客户端仍然使用标准 Chat Completions 请求;
  • 短请求或包含受保护内容时,完整请求直接发送到云端;
  • 满足条件时,可以让本地模型选择相关的原始上下文片段;
  • 如果筛选失败、不安全或没有实际缩减,就恢复完整请求;
  • 明确指定时也可以执行受限制的本地模型任务。

项目优先保证请求语义完整,而不是强制压缩每一次请求。

当前已经完成什么?

目前发布的是 v0.1.0 Experimental V1,主要包括:

  • OpenAI-compatible POST /v1/chat/completions
  • Ollama 和通用 OpenAI-compatible Provider
  • SSE 流式响应与工具调用透传
  • 本地上下文选择和完整请求回退
  • 路由、延迟、Token、回退和上下文缩减指标
  • 默认完全离线的 Mock 模式
  • 399 项自动化测试
  • 36 个合成安全场景
  • GitHub Actions 公开 CI
  • MIT 开源许可证

默认 Mock 模式不会访问任何真实模型服务,适合先检查安装、协议和路由流程。

为什么寻找测试者?

项目目前最大的不足不是测试数量,而是缺少陌生开发者的真实使用反馈。

我希望找到 3~5 位愿意实际运行项目的开发者,帮助检查:

  1. README 能否让陌生用户顺利完成安装和启动?
  2. macOS、Linux 或 Windows/WSL 上是否存在环境问题?
  3. Ollama、Open WebUI 或其他兼容服务能否顺利接入?
  4. 路由原因、回退行为和统计指标是否容易理解?
  5. 哪些限制会妨碍你在真实项目中使用它?

不需要为了支持项目而盲目点 Star。一个真实的安装问题、兼容性反馈或者 GitHub Issue,会比单纯增加数字更有价值。

安全说明

这个版本仍然是实验版本,不具备客户端认证、TLS 终止和多租户隔离能力。

测试时请注意:

  • 不要把服务直接暴露到公网;
  • 不要提交 API Key、真实对话或私人数据;
  • 建议首先使用默认离线 Mock;
  • 本地数据库、日志和评测结果不要上传到公开仓库。

如果你愿意参加测试,可以直接按照 README 操作。遇到任何问题,欢迎在 GitHub 提交 Issue:

github.com/liufei14174…

期待您非常有价值的反馈