稀土掘金 稀土掘金
    • 首页
    • 沸点
    • 课程
    • 数据标注 HOT
    • AI Coding
    • 更多
      • 直播
      • 活动
      • APP
      • 插件
    • 直播
    • 活动
    • APP
    • 插件
      • 搜索历史 清空
        • 写文章
        • 发沸点
        • 写笔记
        • 写代码
        • 草稿箱
        创作灵感 查看更多
心路旅程2的个人资料头像

心路旅程2

创作等级LV.1
掘友等级
掘友3级:新星掘友
获得徽章 0
动态
文章
专栏
沸点
收藏集
关注
作品
赞
0
文章 0 沸点 0
赞
0
返回
|
搜索文章
最新 热门
  • 如何解决级联路由的短难的问题
    4.3 阶段一:请求规划器(语义感知版) (一)复杂度估计:从启发式到语义增强 引子:精准识别“短而难”之敌 三段式智慧管线(TSG)的有效性,其根基在于第一阶段——请求规划器——的决策质量。这是一个
    • 5月前
    • 32
    • 点赞
    • 评论
    架构
  • 三段式智慧管线:一个兼顾质量、延迟与成本效益的 LLM 服务网关架构
    大型语言模型(LLM)的普及带来变革性能力,但在真实世界的大规模服务中仍面临工程挑战:既要守住用户感知质量,又要兼顾低延迟与合理成本。由于模型能力与计算足迹近似正相关,简单地为所有流量部署“最大最强”
    • 5月前
    • 145
    • 点赞
    • 评论
    架构
  • 一种可降低推理成本百分之35到60的高可靠性LLM(大语言模型)服务网关架构
    我们提出“三段式智慧流水线”服务网关。它横切在用户请求与后端大模型之间,不改动模型权重或核心代码,以边车(Sidecar)或网关(Gateway)形式即插即用。
    • 6月前
    • 225
    • 点赞
    • 评论
    架构
  • 个人成就
    文章被阅读 402
    掘力值 30
    关注了
    0
    关注者
    0
    收藏集
    0
    关注标签
    3
    加入于
    2025-09-24