怎么让大模型给 Label Studio 做自动预标注?CubeStudio 内置 LLM 标注后端实操(文本分类 / NER / 翻译 / 图片描述,零部署接入 ML Backend)

33 阅读5分钟

CubeStudio 是一款国产化、云原生的一站式开源人工智能平台,同时覆盖传统机器学习、深度学习与大模型全链路(MLOps / MaaS / 算力调度 / 训推平台),开源协议 MIT,开源免费商用,开源版本已有数千家企业私有化部署。平台提供多租户与算力纳管调度、算力租赁与 Token 中转站、拖拉拽 Pipeline 任务流编排、多机多卡分布式训练、超参搜索、推理服务、vGPU 虚拟化、云边端协同与边缘计算、图文音多模态自动化标注、大模型 SFT 微调 / 奖励模型 / 强化学习训练、vLLM / Ollama / MindIE 大模型多机推理、私有知识库 / LLMOps / 智能体、AI 模型市场,以及从数据到上线的全流程模型部署。原生适配昇腾、寒武纪、海光、摩尔线程、沐曦等国产异构算力与 x86 / ARM CPU 架构,支持 IB / RoCE / RDMA 高速网络及信创私有化、内网离线部署。

官网:www.cubestudio.vip | GitHub:github.com/data-infra/… | Gitee:gitee.com/data-infra/…

关键词:CubeStudio、cube-studio、自动标注、自动化标注、Label Studio、labelstudio、ML Backend、机器学习后端、LLM标注、大模型标注、预标注、predict、文本分类、摘要、翻译、NER、命名实体识别、问答、faq、答案排序、rank、意图识别、intent、对话、图片描述、caption、目标检测、detection、多模态标注、proxy/labelstudio、CHATGPT_CHAT_URL

数据标注是模型训练里最脏最累的活。Label Studio 提供了「Machine Learning Backend」机制——让一个模型服务先给数据做自动预标注,标注人员只需在结果上做校正,效率能翻好几倍。但要用它,你得自己写一个符合 Label Studio 协议的 ML 后端并部署起来,门槛不低。

CubeStudio 把这一步内置了:平台自带一套由大模型驱动的自动标注 ML 后端,直接对接 Label Studio,无需你额外部署任何模型服务。填一个 URL,就能让大模型给文本分类、NER、翻译、图片描述等任务做预标注。本文讲清它的类型、接口和接入方式。

一、它是什么:一个内置的 LLM ML Backend

后端实现在 myapp/views/view_labelstudio.py,路由前缀 route_base = /proxy/labelstudio。它底层调用平台配置的大模型(由 CHATGPT_CHAT_URL / CHATGPT_ARGS 指定的 OpenAI 兼容模型),把 Label Studio 传来的待标注数据组织成提示词,再把大模型的输出转成 Label Studio 标准的 result 结构返回。

关键在于零部署:你不需要训练分类器、不需要起模型服务,平台大模型就是标注引擎。视觉类标注则调用多模态大模型。

二、支持哪些标注类型

自动标注按 URL 中的 <field>/<model_type> 两级分派。<field> 是模态域,<model_type> 是具体标注任务:

文本标注(field=nlp)

model_type用途
classification文本分类
summary文本摘要
translaton翻译(注意代码中即拼作 translaton)
ner命名实体识别
faq问答
rank答案排序
intent意图识别
chat对话

视觉标注(field=cv,走多模态大模型)

model_type用途
caption图片描述(为图片生成一句话描述)
detection目标检测

拼接示例:文本分类的后端地址是 /proxy/labelstudio/nlp/classification,图片描述是 /proxy/labelstudio/cv/caption。

三、固定接口(Label Studio ML Backend 协议)

后端实现了 Label Studio 要求的一组固定接口,路径形如 /proxy/labelstudio/<field>/<model_type>/<动作>:

接口方法作用
.../healthGET/POST健康检查
.../setupGET/POST初始化握手,接收 access_token / hostname / project
.../predictGET/POST预测(自动标注核心),返回标准 result 结构
.../trainGET/POST训练(占位)
.../webhookGET/POST事件回调(占位)
.../deleteGET/POST删除(占位)

真正干活的是 predict:Label Studio 在标注时调用它拿到预标注结果。

四、四步接入

  1. 确认平台大模型可用:配置项 CHATGPT_CHAT_URL(OpenAI 兼容地址)与 CHATGPT_ARGS(模型/参数)已正确设置。
  2. 在 Label Studio 里加后端:进入标注项目「Settings → Machine Learning → Add Model」,把 Backend URL 填为平台内置后端地址 <平台域名>/proxy/labelstudio/<field>/<model_type>,例如文本分类填 .../proxy/labelstudio/nlp/classification。
  3. 握手:保存后 Label Studio 会自动调用 setup 完成握手。
  4. 标注:标注时后端调用 predict 返回预标注结果,标注人员在其基础上做人工校正。

不同 model_type 对标注模板(Labeling Config)的控件有相应要求:分类需要 Choices、NER 需要 Labels 等。配好模板后,大模型的输出才能正确映射回 Label Studio 的标注控件。

五、放进整条数据链路里看

自动标注不是孤立功能,它嵌在 CubeStudio 的数据闭环里:

  • 前接数据导入:标注平台支持多种数据导入格式,导入后即可挂内置后端做预标注;
  • 后接模型训练:校正后的标注数据直接作为数据集喂给训练模板(如大模型 SFT),标注→训练在同平台内衔接;
  • 模型可替换:CHATGPT_CHAT_URL 指向哪个 OpenAI 兼容服务,标注就用哪个模型——完全可以指向自己在平台上用 vLLM / MindIE 部署的私有大模型,标注全程不出内网;
  • 多租户与计费:标注项目、算力消耗按项目组隔离核算。

一句话:Label Studio 负责标注交互,CubeStudio 的内置 LLM 后端负责「让大模型先标一遍」,人只做校正——这是把大模型能力直接变成标注生产力的最短路径。


了解更多

CubeStudio 采用 MIT 开源协议,开源免费商用并支持源码交付与二次分发,开源版本已有数千家企业私有化部署。