大语言模型：从原型到生产
大语言模型展现出了令人印象深刻的能力，其影响力是当前的热门话题。未来会是什么样子？我们是否只会与机器人对话？提示工程是否会取代编程？或者我们只是在炒作不可靠的“鹦鹉”并烧钱？本次演讲将展示LLM时代自然语言处理的愿景，并提供一种务实、实用的方法，指导如何利用大语言模型从原型到生产地交付更成功的NLP项目。
理解NLP任务
自然语言处理任务涵盖生成式与预测式两大类。
生成式任务包括：
- 单文档/多文档摘要
- 问题解决
- 释义
- 推理
- 风格转换
- 生成式问答
预测式（理解）任务包括：
- 文本分类
- 实体识别
- 关系抽取
- 语法与形态分析
- 语义解析
- 共指消解
- 篇章结构分析
未来技术的历史启示
回顾技术发展史，新工具总是以增强人类能力、替代重复性劳动的方式出现，而非简单地完全取代旧模式。例如：
- 手动计算与计算器
- 人工叫醒服务与闹钟
- 人类助理与日历应用
这启示我们思考：在当前技术浪潮中，“接下来是什么？”
LLM时代NLP的三种愿景
面对LLM，业界出现了几种不同的技术路径设想：
愿景一：对话即一切
将整个系统构建于LLM之上，由LLM作为核心来管理所有用户交互。用户通过自然语言输入，LLM直接输出行动或信息。
愿景二：提示工程即一切
使用LLM配合提示词，直接替代特定的机器学习模型。系统输入文本和提示，LLM直接输出结构化数据。
愿景三：现代实用NLP
开发者编写代码，利用LLM处理训练数据，帮助构建整个机器学习系统流水线，最终输出结构化数据。LLM协助构建流水线，而非成为流水线本身。
LLM与专用模型的对比
在选择技术路线时，性能与效率是关键考量。
文本分类准确率对比 在SST-2、AG News、Banking77等数据集上，随着训练数据比例（从1%到100%）增加，专用模型的准确率持续上升并显著超越GPT-3基线。LLM在小样本场景下表现尚可，但在充足数据下，专用模型优势明显。
命名实体识别性能对比
| 系统 | F1分数 | 速度（词/秒） |
|---|---|---|
| GPT-3.5 | 78.6 | < 100 |
| GPT-4 | 83.5 | < 100 |
| spaCy | 91.6 | 4,000 |
| Flair | 93.1 | 1,000 |
| SOTA 2023模型 | 94.6 | 1,000 |
| SOTA 2003模型 | 88.8 | > 20,000 |
数据表明，专用模型在精度和速度上均大幅领先于基于少样本提示的LLM。
核心洞见与技术结合
两种技术范式各有特点：
- 大语言模型（上下文学习）：对文本含义有广泛理解，但难以精确执行特定任务。
- 专用任务模型（微调）：对通用文本含义理解较浅，但能精确编码并执行你的特定需求。
现代实用NLP方法是将二者优势结合。开发者通过提示工程快速定义问题、生成原型，并利用LLM进行数据标注。随后，使用标注好的数据训练高效、私有的专用模型，经过严格评估后部署到生产环境。
这种方法融合了：
- 结构化数据输出
- 快速原型构建能力
- 人在回路的质控
- 开源技术驱动
- 对话与图形化界面
实践中的LLM赋能NLP
一个可行的落地路径是构建LLM赋能的协同数据开发环境：
- 任务分配：将数据标注任务分配给LLM执行。
- 审查修正：人工审查标注结果，纠正错误。
- 提示调优：基于修正结果调整提示词，并实证比较不同LLM的效果。
- 构建数据集：创建用于训练和评估的高质量数据集，以构建高效、生产就绪的流水线。
工具示例：spacy-llm
spacy-llm项目展示了如何将LLM集成到结构化数据处理中。
- 流程：通过提示词模板，引导LLM将非结构化文本转换为结构化的文档对象。
- 任务支持：可用于命名实体识别、文本分类、关系抽取、词形还原等。
- 核心思想：将LLM、监督模型和规则系统相结合，混合、匹配并替换技术组件，以构建最佳流水线。
结论：追求更好而非更简单
“更容易”并不够雄心壮志。我们不应满足于构建比以往更差的系统。
结合LLM能力的专用任务模型，其优势在于：
- 更针对特定任务
- 更小巧、更快速
- 更私有、更安全
- 总体上效果更好
这为我们指明了在大语言模型时代，构建下一代自然语言处理系统的务实方向。
