用户需求自动分类复现研究解析

摘要

自然语言处理（NLP）技术在需求工程（RE）领域广泛应用于分类和歧义检测等任务。尽管RE研究以实证为基础，但对NLP4RE研究的复现关注有限。NLP领域的快速发展为机器辅助工作流创造了新机遇。本研究复现并扩展了先前一项NLP4RE研究（基线），该研究评估了深度学习模型对用户评论的需求分类效果。

方法

通过公开源代码复现原始结果，增强了基线研究的外部有效性。扩展实验包括：

1. 在外部数据集上评估模型性能
2. 与GPT-4o零样本分类器进行对比
3. 为基线研究制备复现研究ID卡（用于评估复现准备度）

结果

• 不同模型的复现水平存在差异：朴素贝叶斯实现完全复现，BERT等模型结果混合
• 基线深度学习模型（BERT和ELMo）在外部数据集展现良好泛化能力
• GPT-4o性能与传统基线机器学习模型相当
• 基线研究具备复现准备度，但缺少环境设置文件。本研究在复现包中补充该信息并提供复现ID卡

资源

• 复现包：包含完整代码与环境配置
• 论文：10页，3图，已被AIRE 2025会议接收
• 数据访问：通过提供的HTTPS链接获取

意义

本研究为NLP4RE领域的可重复性研究提供实践范例，推动机器学习在需求工程中的可靠应用。