将大语言模型融入实际的自然语言处理工作流
在本次演讲中，将展示GPT-3等大语言模型如何作为现有机器学习工作流的补充，而非替代。初始标注通过零样本或少样本学习从某机构的API获取，然后由人类决策者使用标注工具进行校正。得到的标注数据可以像往常一样用于训练和评估模型。此过程比单独使用某机构的API能获得更高的准确率，其附加好处是你可以拥有并控制用于运行时的模型。
视频地址：youtu.be/Bd2ciwinFUE
实际工作流
- 监督学习
- 精确告诉计算机要做什么
- 需要足够优质的数据
- 机器学习 + 业务逻辑
将LLM作为工具
- 特定性：越具体越好
- 速度：越快越好
- 隐私性：私有更好
- 效果：更好就是更好
存在的问题
- 提示工程
- 结果不一致
- 非结构化响应
与LLM协同工作
- 迭代（提示、解析）
- 评估极其重要
- 改进而非取代任务特定模型
- 可脚本化的工作流
- 人在回路
- 业务逻辑
实际应用：通过人工纠错迭代优化提示
- 查询大语言模型并解析响应
- 根据需要调整提示
- 人工纠正错误
- 将正确答案添加到提示中以优化它
- 生成并显示推理依据
现实并非端到端的预测问题
以句子“某机构以75亿美元收购软件开发平台某代码托管平台”为例，实际NLP系统会分解为多个组件：
- 文本分类器
- 实体识别器
- 实体链接器
- 属性查找表
- 货币标准化器
总结
- 大语言模型是更快、迭代地创建更好数据的绝佳工具
- 你始终需要任务特定的数据
- 未来将有许多新的应用
未来工作
- 用于结果解析的数据结构
- 用于稳健评估的工作流
- 交互式提示测试
- 对开源模型的支持FINISHED
