在NLP中深度学习模型何时需要树形结构？

一个普普通通简简单单
420 阅读8分钟
原文链接： www.cnblogs.com
robert_ai
Tell me, I will forget; Show me, I may remember; Involve me, I will understand. 博客园   首页   新随笔   联系   订阅 订阅  管理 随笔-25  评论-39  文章-2 

在NLP中深度学习模型何时需要树形结构？

在NLP中深度学习模型何时需要树形结构？

前段时间阅读了Jiwei Li等人[1]在EMNLP2015上发表的论文《When Are Tree Structures Necessary for Deep Learning of Representations?》,该文主要对比了基于树形结构的递归神经网络(Recursive neural network)和基于序列结构的循环神经网络(Recurrent neural network)，在4类NLP任务上进行实验，来讨论深度学习模型何时需要树形结构。下面我将通过分享这篇论文以及查看的一些相关资料来讨论一下我们何时需要树形结构知识。

1 句法分析树

根据不同的标注树库，句法分析树主要有两种形式：1) 短语结构树(Constituent Tree) 和2) 依存结构树(Dependency Tree)。下面举个简单的例子，"My dog likes eating sausage." 使用Stanford parsing tool进行句法分析可以得到如下结果：

我们将其可视化后，短语结构树和依存树分别为：

论文[1]中指的树形结构即为NLP中句法分析后得到的句法树结构。

2 对比模型

在论文中，主要分了两大组模型进行对比实验，具体的是：

  • Standard tree models (standard Recursive neural models), standard sequence models (standard Recurrent neural models), standard bi-directional sequence models (bi-directional recurrent neural models).
  • LSTM tree models[2], LSTM sequence models vs LSTM bi-directional sequence models.

每组就是三个模型，树模型，单向序列模型和双向序列模型，具体的模型大家可以查阅文献，下面我只给出标准模型的结构图。

Standard Recursive/Tree Models

Standard Recurrent/Sequence Models

Bidirectional Recurrent Models

3 实验数据

该文在NLP领域中4种类型5个任务进行了实验，具体的实验数据大家可以从论文中查阅，这里我主要分析一下每个任务的特点，以及最后实验的结果：

  • Sentiment Classification on the Stanford Sentiment Treebank

    这是一个细粒度的情感分类问题，根据Stanford的句法树库，在每一个节点上都标注了情感类型，所以实验分为了句子级别和短语级别，从结果来看，树形结构对于句子级别有点帮助，对于短语级别并没什么作用。

  • Binary Sentiment Classification

    这同样是一个情感分类问题，与上面不同的是，它只有二元分类，并且只有在句子级别上进行了标注，且每个句子都比较长。实验结果是树形结构并没有起到什么作用，可能原因是句子较长，而且并没有丰富的短语级别标注，导致在长距离的学习中丢失了学习到的情感信息。

  • Question-Answer Matching

    这个任务是机智问答，就是给出一段描述一般由4~6句组成，然后根据描述给出一个短语级别的答案，例如地名，人名等。在这个任务上，树形结构也没有发挥作用。

  • Semantic Relation Classification

    这个任务是给出两个句子中的名词，然后判断这两个名词是什么语义关系。树形结构的方法在这个任务上有明显的提升。

  • Discourse Parsing

    是一个分类任务，特点是其输入的单元很短，树形结构也没有什么效果。

结论

通过上面的实验，作者总结出下面的结论。

需要树形结构：

  1. 需要长距离的语义依存信息的任务（例如上面的语义关系分类任务）Semantic relation extraction
  2. 输入为长序列，即复杂任务，且在片段有足够的标注信息的任务（例如句子级别的Stanford情感树库分类任务），此外，实验中作者还将这个任务先通过标点符号进行了切分，每个子片段使用一个双向的序列模型，然后总的再使用一个单向的序列模型得到的结果比树形结构的效果更好一些。

不需要树形结构：

  1. 长序列并且没有足够的片段标注任务（例如上面的二元情感分类，Q-A Matching任务）
  2. 简单任务（例如短语级别的情感分类和Discourse分析任务），每个输入片段都很短，句法分析可能没有改变输入的顺序。

此外，哈工大的车万翔在哈工大的微信公众号也发表了《自然语言处理中的深度学习模型是否依赖于树结构？》[3]，其中提到了"即使面对的是复杂问题，只要我们能够获得足够的训练数据"也可以无需树形结构。

通过这篇论文和车老师的博文以及一些相关资料，句法树形结构是否需要值得我们关注，我们应该根据自己做的任务以及句法分析的优缺点进行判断，我自己总结如下：

句法分析能够带给我们什么？

  • 长距离的语义依赖关系
  • 包含语言学知识的序列片段
  • 简化复杂句子提取核心

句法分析的缺点

  • 自身分析存在错误，引入噪声
  • 简单任务复杂化
  • 句法分析时间长

 

主要参考文献

[1]     J. Li, M.-T. Luong, D. Jurafsky, E. Hovy, When Are Tree Structures Necessary for Deep Learning of Representations?, EMNLP. (2015) 2304–2314.

[2]     K.S. Tai, R. Socher, C.D. Manning, Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks, Acl-2015. (2015) 1556–1566.

[3] 哈工大车万翔：自然语言处理中的深度学习模型是否依赖于树结构？

posted on 2015-11-29 11:33 robert_ai 阅读(2366) 评论(0) 编辑 收藏 刷新评论刷新页面返回顶部 注册用户登录后才能发表评论，请 登录 或 注册， 访问网站首页。 【推荐】超50万VC++源码: 大型组态工控、电力仿真CAD与GIS源码库！
【活动】2050 大会 - 年青人因科技而团聚（5.26-27杭州·云栖小镇）
【活动】华为云全新一代云服务器·限时特惠5.6折
【招聘】花大价钱找技术大牛我们是认真的！
【活动】腾讯云cps推广奖励，高转化+20%佣金等你来拿
qcloud_C1_0402 最新IT新闻:
· Uber拟选VMware现CFO任首席财务官 将筹备2019年IPO
· 美团难成服务类的亚马逊，做企业不能光靠讲故事
· 日本跻身稀土大国？专家：挖起来没那么容易
· 千亿拼多多 与它的爆红拼图
· “芯战”揭幕： 国内芯片行业暴露短板
» 更多新闻... 阿里云0308 最新知识库文章:
· 如何识别人的技术能力和水平？
· 写给自学者的入门指南
· 和程序员谈恋爱
· 学会学习
· 优秀技术人的管理陷阱
» 更多知识库文章... 历史上的今天:
2014-11-29 Difference between stem and lemma
昵称：robert_ai
园龄：3年7个月
粉丝：39
关注： 2 +加关注
< 2018年4月 >
日 一 二 三 四 五 六
25 26 27 28 29 30 31
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30 1 2 3 4 5

搜索

   

常用链接

最新随笔

我的标签

随笔分类(32)

随笔档案(25)

文章分类(1)

文章档案(2)

积分与排名

  • 积分 - 29650
  • 排名 - 13377

最新评论

阅读排行榜

评论排行榜

推荐排行榜

Powered by: 博客园 模板提供：沪江博客 Copyright ©2018 robert_ai
avatar
文章
阅读
粉丝