月来客栈

各位朋友大家好，欢迎来到月来客栈。今天要和大家介绍的一篇论文是谷歌2017年所发表的一篇论文，名字叫做”Attention is all you need“[1]。 以下为全文部分内容，可在网盘下载全

1 引言 各位朋友大家好，欢迎来到月来客栈。今天要和大家介绍的一篇论文是谷歌2017年所发表的一篇论文，名字叫做”Attention is all you need“[1]。当然，网上已经有了大量的关

1 引言 各位朋友大家好，欢迎来到月来客栈。在前面的一篇文章[1]中笔者介绍了在单标签分类问题中模型损失的度量方法，即交叉熵损失函数。同时也介绍了多分类任务中常见的评价指标及其实现方法[2]。在接下来

经过前面五篇文章的介绍，我们对模型的改善与泛化算了有了一定的认识与了解。下面笔者就通过一个实际的手写体分类任务来做一个示范，介绍一下常见的操作流程。并同时顺便介绍一下sklearn和matplotlib中常见方法的使用。 对于第4-5行代码，如果是sklearn中内置的数据集都…

从上一篇文章的介绍可以知道，模型产生过拟合的现象表现为：在训练集上误差较小，而在测试集上误差较大。并且笔者还说到，之所以产生过拟合现象是由于训练数据中存在一定的噪音，而我们为了尽可能的做到拟合每一个样本点（包括噪音），往往就会使用复杂的模型。最终使得训练出来的模型很大程度上受到…

首先需要明确的概念是：batchsize指的是一次喂入网络的样本数，属于样本数量上的概念；而timestep指的是每个样本内包含有多少个时刻（步长），属于每个样本内部的概念。既然题主提出了这样的疑问，说明对于LSTM的细节之处尚有困惑之处，因此下面先大致说一下一个RNN和LST…

在上一篇文章中，我们介绍了为什么要对特征维度进行标准化，不标准化会带来什么样的后果，以及一种常见的标准化方法；同时我们还从另外一个角度（特征映射）介绍了如何将原始的低纬特征通过多项式映射到高维特征，以此来解决分线性的拟合问题。今天这篇文章笔者就接着往下继续介绍其它的模型改善的方…

在上一篇文章中，笔者介绍了什么是等高线，并且还同时直接给出了梯度的垂直于等高线的结论，但是并没有介绍为什么。因此本篇文章就来大致介绍一下梯度为什么会垂直于等高线。 设为平面上任意一曲线，又由于曲线的法向量为。故，令，立即有曲线的法向量为。可以发现，曲线也就是的法向量正好就是曲线…

经过前面两讲的内容，我们完成了对线性回归（Linear Regression）和逻辑回归（Logistics Regression）核心内容的学习，但是一些涉及到模型改善（Optimization）与泛化（Generalization）的方式并没有进行介绍。第三讲，笔者将以线性…