使用Jupyter和Prodigy发现文本分类中的错误标签
Prodigy是由spaCy开发团队打造的现代化数据标注工具，专门用于收集机器学习模型的训练数据。本视频将展示如何设置Prodigy来发现文本分类任务中的错误标签。虽然这些技术主要应用于文本分类，但它们同样适用于一般的分类任务。
章节内容
- 错误标签 (0:00)
- 谷歌情绪数据集 (3:03)
- 启发式方法 (7:46)
- Jupyter环境应用 (9:12)
- 错误标签检测模型 (12:16)
- Jupyter实践 (15:26)
- 嵌入技巧 (21:43)
- Jupyter进阶操作 (25:38)
- 怀疑原因分析 (29:29)
- Prodigy环境设置 (31:20)
- Prodigy标注实践 (32:56)
- 标注者分歧处理 (38:01)
- 经验总结 (42:16)
技术资源
- Prodigy官方网站和文档
- 谷歌情绪研究论文
- Whatlies嵌入可视化项目
- Doubtlab可疑标签检测库
技术要点
通过结合Jupyter Notebook的灵活性和Prodigy的专业标注功能，可以系统性地识别和修正训练数据中的错误标签，提升文本分类模型的准确性和可靠性。
