李rumorr

上周讲了一个MASS模型，我觉得挺好的，参考BERT提出了新的Seq2Seq任务的预训练方法，今天要讲的是另一个BERT-based生成模型-UNILM，也是微软出的。 UNILM全名Unified Language Model Pre-training for Natural…

距离上篇文章又一个月了。。。时光飞逝。。。再次立下一周一篇的flag 最近读了一篇专栏文章BERT时代与后时代的NLP，收获颇丰。算是作者的同行，最近也在做类似的东西，但是作者都给总结了起来，让我又重新串了一遍那些思想，查漏补缺。另外最近没怎么追踪前沿，看到作者又列举了两篇我一…

最近看了一篇论文叫《Linguistic Knowledge and Transferability of Contextual Representations》，NAACL 2019，感觉长了很多姿势，和大家分享一下。 目前词向量的做法有两大类，一类是类似word2vec、g…

终于用上了bert，踩了一些坑，和大家分享一下。 我主要参考了奇点机智的文章，用bert做了两个中文任务：文本分类和相似度计算。这两个任务都是直接用封装好的run_classifer,py，另外两个没有仔细看，用到了再补充。 1. DataProcessor 2. Early …

1. 简介 长期以来，词向量一直是NLP任务中的主要表征技术。随着2017年底以及2018年初的一系列技术突破，研究证实预训练的语言表征经过精调后可以在众多NLP任务中达到更好的表现。目前预训练有两种方法： Feature-based：将训练出的representation作为…

之前总是在看前沿文章，真正落实到工业级任务还是需要实打实的硬核基础，我司选用了HANLP作为分词组件，在使用的过程中才感受到自己基础的薄弱，决定最近好好把分词的底层算法梳理一下。 1. 简介 NLP的底层任务由易到难大致可以分为词法分析、句法分析和语义分析。分词是词法分析（还包…

上一篇transformer写了整整两周。。解读太慢了。。主要是自己也在理解，而且没有时间看源码，非常惭愧，如果哪里说错了希望大佬们可以提醒一下 2. 【NLP】Transformer详解 Universal Transformer的产生是因为Transformer在实践上和理…

11号论文放上去，12号各个公众号推送，13号的我终于在最晚时间完成了前沿追踪，惊觉上一篇论文竟然是一个月前。。。立个flag以后保持一周一更的频率。下周开始终于要在工作上接触NLP了，之后希望会带来更多自己的东西而不是论文解析。 2. 【NLP】Transformer详解 B…

自Attention机制提出后，加入attention的Seq2seq模型在各个任务上都有了提升，所以现在的seq2seq模型指的都是结合rnn和attention的模型，具体原理可以参考传送门的文章。之后google又提出了解决sequence to sequence问题的t…