自然之语

首先，将插槽分为两类——一类是S-type 槽位 ，其值可以直接从给定的输入(如酒店区域和火车发车地点)进行标记;另一种类型的槽表示为C-type，其值在话语中找不到，需要用“Yes”或“NO”来回答，例如酒店停车场和酒店网络。 下图显示了由三个模块组成的总体架构:域预测模块(…

有点老但是很经典的一篇论文，最近重新读了一遍。 HAN (Hierarchical Attention Networks for Document Classification) 是一个针对文本分类任务的层次化 attention 模型。它有两个显著的特点： 通过"词-句子-文…

我记得我开知乎专栏的第一篇文章写的是如何去做关于用户评论的情感分类，这其实也是一个多标签分类 (Multi-label Classification，简称 MLC) 问题。这几天重温了一下目前关于多标签分类的论文，发现了一个很有意思的研究方向：利用 Seq2Seq 的思想去做多…

这篇论文是由facebook AI 团队提出，其设计了一种完全基于卷积神经网络的模型，应用于seq2seq 任务中。在机器翻译任务上不仅比之前的方法好 (Transformer 没出来之前。。。)，同时还大大提高了运行速度。 这几天看了知乎专栏“西土城搬砖日常”对这篇论文的笔记…

在采用 SGD 或者其他的一些优化算法 (Adam, Momentum) 训练神经网络时，通常会使用一个叫 ExponentialMovingAverage (EMA) 的方法，中文名叫指数滑动平均。 它的意义在于利用滑动平均的参数来提高模型在测试数据上的健壮性。 今天我们来介…

Keras 是一个很好用的深度学习框架，简单易上手，和 sklearn 一样。 但是因为它的抽象性太高了，导致在自定义模型的一些属性上不如 pytorch 那么方便。 今天写一个在使用过程中遇到的问题，和解决的办法。 在 keras 原生支持的 metrics 里面，并不包括 …

在采用 SGD 或者其他的一些优化算法 (Adam, Momentum) 训练神经网络时，通常会使用一个叫 ExponentialMovingAverage (EMA) 的方法，中文名叫指数滑动平均。 它的意义在于利用滑动平均的参数来提高模型在测试数据上的健壮性。 今天我们来介…

Keras 是一个很好用的深度学习框架，简单易上手，和 sklearn 一样。 但是因为它的抽象性太高了，导致在自定义模型的一些属性上不如 pytorch 那么方便。 今天写一个在使用过程中遇到的问题，和解决的办法。 在 keras 原生支持的 metrics 里面，并不包括 …

Attention 如果说的简单点，灵感就是来源于人在观察一张图片或阅读一篇文章的时候，会将注意力去分散到图片上不同的部位或文章中不同的句子。以下图为例， 人类大脑的注意力可以让我们将目光焦距在图片的特定部分，比如上图中黄色框中的耳朵，红色框中的眼睛、鼻子。并且，对于图片上不重…