自然之语

有点老但是很经典的一篇论文，最近重新读了一遍。 HAN (Hierarchical Attention Networks for Document Classificati...

我记得我开知乎专栏的第一篇文章写的是如何去做关于用户评论的情感分类，这其实也是一个多标签分类 (Multi-label Classification，简称 MLC) 问题。...

这篇论文是由facebook AI 团队提出，其设计了一种完全基于卷积神经网络的模型，应用于seq2seq 任务中。在机器翻译任务上不仅比之前的方法好 (Transform...

在采用 SGD 或者其他的一些优化算法 (Adam, Momentum) 训练神经网络时，通常会使用一个叫 ExponentialMovingAverage (EMA) 的...

Keras 是一个很好用的深度学习框架，简单易上手，和 sklearn 一样。 但是因为它的抽象性太高了，导致在自定义模型的一些属性上不如 pytorch 那么方便。 今天...

在采用 SGD 或者其他的一些优化算法 (Adam, Momentum) 训练神经网络时，通常会使用一个叫 ExponentialMovingAverage (EMA) 的...

Keras 是一个很好用的深度学习框架，简单易上手，和 sklearn 一样。 但是因为它的抽象性太高了，导致在自定义模型的一些属性上不如 pytorch 那么方便。 今天...

Attention 如果说的简单点，灵感就是来源于人在观察一张图片或阅读一篇文章的时候，会将注意力去分散到图片上不同的部位或文章中不同的句子。以下图为例， 人类大脑的注意力...

之前介绍过短文本匹配的神器 ESIM，今天来介绍另一个文本相似性比较算法，ABCNN，简称 Attention-based CNN。虽然它在实际任务中比 ESIM 差一些(...

第一次在实际项目中接触 Resnet 还是去年暑假实习的时候，可以说是 Resnet 带我走进深度学习的大门。去年差不多这个时候我也曾在自己的博客写过一篇对 Resnet ...

今年不知道怎么回事，以短文本匹配为赛题的数据挖掘比赛层出不穷，自从Quora Question Pairs | Kaggle开始，到天池CIKM AnalytiCup 20...

整理很早以前的一些工作，也是文本相似性方面的。 Siamese Recurrent，中文名叫孪生网络，用于比较两段文本之间的相似性。之前介绍过的几个方法 ESIM 和 AB...

Attention is all you need 是一篇将 Attention 思想发挥到极致的论文，出自 Google。这篇论文中提出一个全新的模型，叫 Transfo...

感谢大家的关注，第二篇文章我将详细介绍模型训练的过程，其中会适当融入我个人在训练时的一些经验吧，和大家分享讨论一下。 当我们把模型确定下来之后，接下来就是如何去训练它了。 ...

之前介绍过，在最近举办的很多数据挖掘比赛中，ESIM 都是冠军必选的模型，今天介绍一个 BiMPM，它在很多自然语言的任务中超过 ESIM 的，其实 2 个方法提出时间没差...

前段时间抽空玩了一个比赛，最近好长时间没做了(太忙。。。)，分享一个简单的baseline，线上大概0.70201，还有一些提升空间，大家可以试着ensemble一下。 因...

之前介绍过，在最近举办的很多数据挖掘比赛中，ESIM 都是冠军必选的模型，今天介绍一个 BiMPM，它在很多自然语言的任务中超过 ESIM 的，其实 2 个方法提出时间没差...

整理很早以前的一些工作，也是文本相似性方面的。 Siamese Recurrent，中文名叫孪生网络，用于比较两段文本之间的相似性。之前介绍过的几个方法 ESIM 和 AB...

Attention 如果说的简单点，灵感就是来源于人在观察一张图片或阅读一篇文章的时候，会将注意力去分散到图片上不同的部位或文章中不同的句子。以下图为例， 人类大脑的注意力...

之前介绍过短文本匹配的神器 ESIM，今天来介绍另一个文本相似性比较算法，ABCNN，简称 Attention-based CNN。虽然它在实际任务中比 ESIM 差一些(...