深度学习 (DL) 凭借其在文本分类、实体提取和序列标记任务方面的惊人进步，彻底改变了自然语言处理 (NLP)。然而，DL 仍然不是所有 NLP 任务的灵丹妙药，尤其是在工业应用方面。本文将讨论阻碍 DL 在工业环境中发挥有效性的一些关键限制和挑战。
使用 DL 模型的重大挑战之一是它们倾向于在小型数据集上过度拟合。尽管 DL 模型比传统的 ML 模型具有更多的表现力，但奥卡姆剃刀原则表明，始终首选更简单的解决方案。当没有足够的训练数据来训练复杂的网络时，应该使用更简单的模型来避免在小数据集上过度拟合。深度学习模型过拟合导致泛化能力差，生产性能差。
少样本学习和合成数据生成使得在少量数据上训练基于 DL 的视觉模型成为可能。然而，这些进步尚未成功用于 NLP。与计算机视觉领域不同，少样本学习取得了重大进展，NLP 仍然需要专门的模型来编码领域知识，例如特定领域的基于规则的模型。
DL 模型的另一个局限性是，当训练的模型应用于不同于公共领域的较新领域时，它们无法很好地执行。这种泛化性能的缺乏表明 DL 模型并不总是有用的。在互联网文本和产品评论上训练的模型在应用于法律、社交媒体或医疗保健等领域时可能效果不佳，在这些领域中，语言的句法和语义结构是特定于该领域的。我们需要专门的模型来编码领域知识，它可以像领域特定的、基于规则的模型一样简单。
可控性和可解释性对 DL 模型也具有挑战性，因为它们通常像黑匣子一样工作。在企业需要可以向客户或最终用户解释的更多可解释结果的情况下，朴素贝叶斯模型等传统技术可能比 DL 模型更有用。可解释性问题也存在于计算机视觉中，其中 DL 模型不是黑匣子。有几种技术被用来深入了解模型在计算机视觉中做出特定预测的原因，但这种方法在 NLP 中并不常见。
此外，与视觉相比，语言是一个谜，对科学家来说仍然是一个更大的挑战。语言包含我们周围世界的知识，除了语法和语义之外，语言依赖于逻辑推理和关于世界事件的常识。了解常识和世界知识对于任何 DL 模型在各种语言任务上表现良好至关重要。虽然当前的 DL 模型可能在标准基准测试中表现良好，但它们仍然无法进行常识性理解和逻辑推理。
最后，为 NLP 任务构建基于 DL 的解决方案可能非常昂贵。就金钱和时间而言，成本来自多个来源。众所周知，DL 模型是数据消耗大户，收集大型数据集并对其进行标记可能非常昂贵。训练 DL 模型以达到所需的性能也会由于其规模而增加成本。
总之，DL 在 NLP 方面取得了重大进展，但还不是所有 NLP 任务的灵丹妙药，尤其是对于工业应用。克服上述限制和挑战需要结合传统方法和基于深度学习的方法。为了构建更强大和有效的 NLP 解决方案，研究人员必须继续改进 DL 模型并探索替代解决方案。
