RAIS

人们不是每一秒都从头开始思考，就像你阅读本文时，不会从头去重新学习一个文字，人类的思维是有持续性的。传统的卷积神经网络没有记忆，不能解决这一个问题，循环神经网络(Recurrent Neural Networks)可以解决这一个问题，在循环神经网络中，通过循环可以解决没有记忆的…

梯度下降算法一般用来最小化损失函数：把原始的数据网络喂给网络，网络会进行一定的计算，会求得一个损失函数，代表着网络的计算结果与实际的差距，梯度下降算法用来调整参数，使得训练出的结果与实际更好的拟合，这是梯度下降的含义。 批量梯度下降是梯度下降最原始的形式，它的思想是使用所有的训…

什么叫做主成分分析法，我们先看一张图椭圆的图，如果让你找一条线，使得椭圆上所有点在该线上映射的点最分散，保留下来的信息最多，你会怎么选择这条线？若是下图，会选择水平线，这是用一维的方式去尽可能多的表示二维的数据，那么多维的数据呢，是否可以用较低维的数据尽可能表示。 主成分分析法…

本文首发自公众号：RAIS，点击直接关注。 本系列文章为《Deep Learning》读书笔记，可以参看原书一起阅读，效果更佳。从本文开始将继续学习本书的第二部分，将从第一部分介绍深度学习所需要的基础知识过渡到构建深度网络，是理论的应用与提高。 也叫 多层感知机 或者是 前馈神…

Sigmoid 函数（Logistic 函数）是神经网络中非常常用的激活函数，我们今天来深入了解一下 Sigmoid 函数。 函数值 S(x) 的值域为 (0, 1)，常用于二分类问题，函数平滑，易于求导。但是作为激活函数，其计算量大，反向传播求误差梯度时，求导有除法，容易出现…

本系列文章为 《Deep Learning》 读书笔记，可以参看原书一起阅读，效果更佳。 统计的目的是为了推断，大量的统计是为了更好的推断，这就是一种估计，一种根据现有信息对可能性的一种猜测。 点估计：点估计指的是用样本数据估计总体的参数，估计的结果是一个点的数值，因此叫做点估…

本文首发自公众号：RAIS，点击直接关注。 本系列文章为 《Deep Learning》 读书笔记，可以参看原书一起阅读，效果更佳。 就是无监督的一种学习方法，太抽象，有一种定义（这种定义其实不够准确，无监督和监督之间界限模糊）是说如果训练集有标签的就是有监督学习，无标签的就是…

本文首发自公众号：RAIS，点击直接关注。 本系列文章为 《Deep Learning》 读书笔记，可以参看原书一起阅读，效果更佳。 在机器学习或深度学习中，模型的训练在一般都会被转换为求使得目标函数函数值最小的参数组合的优化问题，简而言之就是优化参数，梯度下降法是优化参数的一…

本文首发自公众号：RAIS，点击直接关注。 本系列文章为《Deep Learning》读书笔记，可以参看原书一起阅读，效果更佳。我们前面也介绍了一些构建机器学习或深度学习的一些内容，理解了其中部分原理和这么做的原因，接下来我们总结一下，跳出来从更高一点的方面去概括的看一看，也许…