自然之语

第一次在实际项目中接触 Resnet 还是去年暑假实习的时候，可以说是 Resnet 带我走进深度学习的大门。去年差不多这个时候我也曾在自己的博客写过一篇对 Resnet 的总结，现在过了一年，再看去年那会的总结，感觉还是有一些不足之处，所以今天重新整理一下。 在过去的一年里，…

今年不知道怎么回事，以短文本匹配为赛题的数据挖掘比赛层出不穷，自从Quora Question Pairs | Kaggle开始，到天池CIKM AnalytiCup 2018 | 赛制介绍，再到ATEC蚂蚁开发者大赛，还有拍拍贷AI开发平台-第三届魔镜杯大赛。。。真是忽如一夜…

Attention is all you need 是一篇将 Attention 思想发挥到极致的论文，出自 Google。这篇论文中提出一个全新的模型，叫 Transformer，抛弃了以往深度学习任务里面使用到的 CNN 和 RNN (其实也不完全是，还是用到了一维卷积。。…

整理很早以前的一些工作，也是文本相似性方面的。 Siamese Recurrent，中文名叫孪生网络，用于比较两段文本之间的相似性。之前介绍过的几个方法 ESIM 和 ABCNN，本质上都是一种孪生网络，不知道我说的贴不贴切，SIamese Network 应该是这些网络的祖师…

感谢大家的关注，第二篇文章我将详细介绍模型训练的过程，其中会适当融入我个人在训练时的一些经验吧，和大家分享讨论一下。 当我们把模型确定下来之后，接下来就是如何去训练它了。 以下是我个人总结的训练模型中比较关键的地方。 针对本赛题，如果我们不用 seq2seq 的思路去做的话，简…

之前介绍过，在最近举办的很多数据挖掘比赛中，ESIM 都是冠军必选的模型，今天介绍一个 BiMPM，它在很多自然语言的任务中超过 ESIM 的，其实 2 个方法提出时间没差多久。虽然我没有去复现论文里面的实验，但是根据一些比赛用这个方法的感受。。。一个字，慢。。。，效果还不错，…

前段时间抽空玩了一个比赛，最近好长时间没做了(太忙。。。)，分享一个简单的baseline，线上大概0.70201，还有一些提升空间，大家可以试着ensemble一下。 因为篇幅比较长，我会将 baseline 分为前篇、后篇两部分。前篇主要介绍模型，后篇主要介绍训练过程。(怕…

之前介绍过，在最近举办的很多数据挖掘比赛中，ESIM 都是冠军必选的模型，今天介绍一个 BiMPM，它在很多自然语言的任务中超过 ESIM 的，其实 2 个方法提出时间没差多久。虽然我没有去复现论文里面的实验，但是根据一些比赛用这个方法的感受。。。一个字，慢。。。，效果还不错，…

整理很早以前的一些工作，也是文本相似性方面的。 Siamese Recurrent，中文名叫孪生网络，用于比较两段文本之间的相似性。之前介绍过的几个方法 ESIM 和 ABCNN，本质上都是一种孪生网络，不知道我说的贴不贴切，SIamese Network 应该是这些网络的祖师…