RAIS

人们不是每一秒都从头开始思考，就像你阅读本文时，不会从头去重新学习一个文字，人类的思维是有持续性的。传统的卷积神经网络没有记忆，不能解决这一个问题，循环神经网络(Recurrent Neural Networks)可以解决这一个问题，在循环神经网络中，通过循环可以解决没有记忆的…

梯度下降算法一般用来最小化损失函数：把原始的数据网络喂给网络，网络会进行一定的计算，会求得一个损失函数，代表着网络的计算结果与实际的差距，梯度下降算法用来调整参数，使得训练出的结果与实际更好的拟合，这是梯度下降的含义。 批量梯度下降是梯度下降最原始的形式，它的思想是使用所有的训…

什么叫做主成分分析法，我们先看一张图椭圆的图，如果让你找一条线，使得椭圆上所有点在该线上映射的点最分散，保留下来的信息最多，你会怎么选择这条线？若是下图，会选择水平线，这是用一维的方式去尽可能多的表示二维的数据，那么多维的数据呢，是否可以用较低维的数据尽可能表示。 主成分分析法…

Sigmoid 函数（Logistic 函数）是神经网络中非常常用的激活函数，我们今天来深入了解一下 Sigmoid 函数。 函数值 S(x) 的值域为 (0, 1)，常用于二分类问题，函数平滑，易于求导。但是作为激活函数，其计算量大，反向传播求误差梯度时，求导有除法，容易出现…

本文首发自公众号：RAIS，点击直接关注。 本系列文章为《Deep Learning》读书笔记，可以参看原书一起阅读，效果更佳。本文我们聊一聊深度学习中的正则化。 一般来说，深度学习所要做的事情是用已有的训练集训练一个网络模型，然后针对新的数据给出预测，我们期望我们的模型在训练…

本文首发自公众号：RAIS，点击直接关注。 本系列文章为《Deep Learning》读书笔记，可以参看原书一起阅读，效果更佳。从本文开始将继续学习本书的第二部分，将从第一部分介绍深度学习所需要的基础知识过渡到构建深度网络，是理论的应用与提高。 也叫 多层感知机 或者是 前馈神…

考研总算是结束了，现在真的脑壳疼，真的是那种生理上的脑壳痛，睡一觉应该就好了的那种。 上一篇 写考研的事情差不多是初试结束后的时间，当时觉得考得不好，但是没有出成绩，简单写的随笔吧，今天确定了录取通知，算是所有的事情都尘埃落定了，剩下调档政审什么的除了麻烦一点不会有什么烦心事了…

本文首发自公众号：RAIS，点击直接关注。 本系列文章为 《Deep Learning》 读书笔记，可以参看原书一起阅读，效果更佳。由于各平台 Markdown 解析差异，有些公式显示效果不好，请到我 个人维护网站 查看。 监督学习算法的定义是，给定一组输入 x 和输出 y，学…

本文首发自公众号：RAIS，点击直接关注。 本系列文章为《Deep Learning》读书笔记，可以参看原书一起阅读，效果更佳。我们前面也介绍了一些构建机器学习或深度学习的一些内容，理解了其中部分原理和这么做的原因，接下来我们总结一下，跳出来从更高一点的方面去概括的看一看，也许…