深度学习

用于计算查询文本和搜索文档之间的相似度，然后对文档进行排序。Argmaxdi​,in,ck​表示搜索返回的K个句子的索引。di​表示文档中的某个句子，[ ]中第一项表示文档中某个句子和整篇文档的相似度，后一项表示文档中的某个句子和已经抽取的摘要句子的相似度。λ表示两者重要性的权衡...

Variational autoencoders（VAE）由Kingma et al.和Rezende et al.在2013年提出，它在图像生成、强化学习和自然语言处理等多个领域都有很广泛的应用。下面的主要内容翻译自《Tutorial - What is a variation...

Auto-encoder输入前馈神经网络的一种，它借助了稀疏编码的思想，目标是借助抽取到的高阶特征来重构输入，而不只是简单的复制。auto-encoder曾经主要用于降维和特征抽取，现在被扩展到了生成模型。Auto-encoder的思想很简单，下面我们来看一下如何用代码实现，这里...

深度学习中常用的Normalization方法有Batch Normalization（BN，2015）、Layer Normalization（LN，2016）、Instance Normalization（IN，2017）、Group Normalization（GN，201...

内容来源于CS224n（2017）第七讲给出的示例代码，整理以便学习。import matplotlib.plt.rcParams['figure.figsize'] = (10.0, 8.plt.rcParams['image.plt.rcParams['image.# see...

蒙特卡洛方法（Monte Carlo method，MC）在二十世纪四十年代由冯-诺伊曼、乌拉姆和尼古拉斯率先提出，名字来源于摩纳哥著名的赌城-蒙特卡洛。MC是一种通过生成合适的随机数和观察部分服从一些特定性质或属性的数据来解决问题的方法，通过统计抽样实验给各种各样的数学问题提供...

compressive sensing（CS） 又称 compressived sensing ，compressived sample，大意是在采集信号的时候（模拟到数字），同时完成对信号压缩之意。中文的翻译成“压缩感知”，意思变得至少不太好理解了。Compressed sen...

我们熟悉的Transformer就是变形金刚，因此可以说擎天柱就是一个Transformer，但是这里要说的并不是变形金刚，而是谷歌在发表在NIPS-2017上的《Attention Is All You Need》中提出的强大的特征提取器Transformer。下面主要从Att...

TREC刚开始的时候只有两个任务，ad hoc和routing。前者类似于图书馆里的书籍检索，即书籍库(数据库)相对稳定不变，不同用户的查询要求是千变万化的。这种检索就称为ad hoc。基于Web的搜索引擎也属于这一类。后者的情况与前者相对，用户的查询要求相对稳定。在routin...

Meta Learning 元学习或者叫做 Learning to Learn 学会学习 已经成为继Reinforcement Learning 增强学习之后又一个重要的研究分支（以后仅称为Meta Learning）。这样的趋势。之所以会这样发展完全取决于当前人工智能的发展。在...

Auto-encoder是一个基本的生成模型，更重要的是它提供了一种encoder-decoder的框架思想，广泛的应用在了许多模型架构中。简单来说，Auto-encoder可以看作是如下的结构，它主要包含一个编码器（Encoder）和一个解码器（Decoder），通常它们使用的...

https://www.forbes.终身学习（Lifelong Learning或Continuous Learning、 Never Ending Learning、Incremental Learning等）的概念对于人来说是很容易理解的，也就是俗话所说的“活到老，学到老”...

https://www.wordstream.之前我们已经学习到了很多的机器学习模型，比如Linear Regression、Logistics Regression、Decision Tree、Random Forest、Neural Network……，它们有着各自不同的用途...

最近在看生成对抗网络（Generative Adversarial Networks，GAN）的时候，几乎在每一篇文章中都会看到mainfold这个词，哪么它在GAN中想要表达什么呢？或者说GAN和流形学习（Mainfold Learning）之间又有着什么样的关联呢？下面给出我...

当我们在面对一个新的问题时，我们总是会从头脑中搜索类似的问题的解决方案，看有什么可以借鉴的地方，而不是蒙头从零开始思考。同样的在阅读一篇文章时，如果想理解某一句话，我们可能需要看前面的几个词和后面的几个词，如果想要理解一段话，还可能需要结合上下文。人类这样的思维过程显示了我们的思...

LeNet由Yann LeCun在1995年完成，最初主要是用于手写数字的识别工作，它是最早的卷积神经网络之一。相比于全连接的神经网络，LeNet-5利用了卷积、参数共享、池化等操作来进行特征的提取，然后再使用全连接层进行分类，从而避免了大量的计算开销。model.model.m...

下面我们通过一个例子具体看一下：假设靶的中心是样本的真实值，左图镖的位置距离中心远，表示偏差大，但是位置相对集中，则方差较小；右图镖的位置相对左图距离中心更近，表示偏差较小，但是位置分散，表示方差较大。相对于前面的公式表示，我们用图像化表示后就可以很直观的看到偏差、方差和噪声的情...

P(Y∣X)，这时就要借助贝叶斯公式来换个方向继续求解。朴素贝叶斯算法是一种生成式方法，基于上面的贝叶斯定理和特征条件独立假设，广泛的用于一些分类问题。...P(Y=c_{k}),k=1,2,...P(Y=ck​),k=1,2,......P(X=x|Y=c_{k})=P(X^{...

Generative vs. 如何理解生成模型和判别模型呢，我们以生活中的一个实例来看一下，我们如何来判断一个人所讲的语言呢？如果我们详细的学习了所有语言相关的内容，当听到一个人所讲的话时，就可以决定它是属于哪一种，这样的做法就是生成式方法；而如果我们并没有仔细的学习每一门语言，...

梯度下降法广泛的应用在无约束优化问题的求解中，比如线性回归、神经网络等等。之前在学习Stanford机器学习-Linear Regressioon with One Variable（3）时对于梯度下降有了初步的理解，但是对于梯度下降法的多种类型，以及背后的数学原理理解的并不是很...