可控文本生成定义
这里的可控,广泛定义为一种属性可控。而传统的seq2seq是无法做到这个的。 这里的属性包含:情感、风格和内容 attribute controllable
- binary attribute: Binary sentiment / style text attribute transfer
- fine-grained attribute: ratings or continuous values
- 词义可控
方法
这里主要记录一下最近看的一些文章的大概思路 paper list:
-
Towards Controllable Story Generation 思路: 提出一种分析现有故事语料的总体框架,以产生可控和创造性的新故事。框架主要有两个组成成分: analyzer模块和generator模块。 ending valence controllable: 有一个判别器,判断是否是最后一个句子,如果是,则decode的每一个step加入干预的情感词embed and storyline controllable : analyzer作为key word抽取模块,然后进行故事的生成。 评价: 主要还是在情感控制,语义层面控制较少。
-
ICAART-2019-Towards Controlled Transformation of Sentiment in Sentences 思路: 针对输入的一句话,找出具有情感倾向的短语,然后利用情感极性完全相反的单词,对原句中的短语进行替换。 论文中,作者提出了两种pipline的方式,一种是在sentiment classifier之后,利用encoder得到空间向量表示,然后找到最相近的单词,进行替换;另一种是直接根据word vector 找到极性相反的最接近的单词来替换。
-
2018-E2E NLG Challenge Submission: Towards Controllable Generation of Diverse Natural Language 思路:传统NLG直接从抽象输入例如结构化数据生成句子。本文提出增加额外的输入,探索其对生成的影响。 就是从target中samples一些不在input structed data 里面的词语,作为额外的输入。 点评:emmm...比较trivial
-
2018-Long Text Generation via Adversarial Training with Leaked Information 罗福莉(Fuli Luo) acl2019: a sequence operation method for text style transfer ijcal 2019: a dual reinforcement learning framework for unsupervised text style transfer. ijcal 2019 这篇文章主要是一些长文本,通过对偶学习训练的方式,在其中加入一些信息,控制生成的文本内容,三篇文章的整体思路其实都差不多,不过讲故事的方法不同,这里可以学习一下该同学的讲故事的方法。
总结
这几篇文章都比较早了,不过整体的思路基本都是对抗、替换等,增加额外的信息,来控制生成的文本属性。
开启掘金成长之旅!这是我参与「掘金日新计划 · 2 月更文挑战」的第 29 天,点击查看活动详情