红色石头Will

之前，我发过一篇文章，通俗地解释了梯度下降算法的数学原理和推导过程，推荐一看。链接如下： 我们知道，梯度下降算法是利用梯度进行一阶优化，而今天我介绍的牛顿优化算法采用的是二阶优化。本文将重点讲解牛顿法的基本概念和推导过程，并将梯度下降与牛顿法做个比较。 1. 牛顿法求解方程的根…

说起吴恩达「Andrew Ng」，相信大家都非常熟悉了。作为人工智能的大 IP，吴恩达一直致力于人工智能的推广和普及，争取让每个人都能感受人工智能的魅力。自去年8月开始，吴恩达在 Coursera 上开设了由 5 门课组成的深度学习专项课程，掀起了一股人工智能深度学习热潮。这里…

机器学习中，如果参数过多，模型过于复杂，容易造成过拟合（overfit）。即模型在训练样本数据上表现的很好，但在实际测试样本上表现的较差，不具备良好的泛化能力。为了避免过拟合，最常用的一种方法是使用使用正则化，例如 L1 和 L2 正则化。但是，正则化项是如何得来的？其背后的数…

我们已经对这个交叉熵函数非常熟悉，大多数情况下都是直接拿来使用就好。但是它是怎么来的？为什么它能表征真实样本标签和预测概率之间的差值？上面的交叉熵函数是否有其它变种？也许很多朋友还不是很清楚！没关系，接下来我将尽可能以最通俗的语言回答上面这几个问题。 1. 交叉熵损失函数的数学…

1. 什么是Softmax Softmax 在机器学习和深度学习中有着非常广泛的应用。尤其在处理多分类（C > 2）问题，分类器最后的输出单元需要Softmax 函数进行数值处理。关于Softmax 函数的定义如下所示： 其中，Vi 是分类器前级输出单元的输出。i 表示类别索引…

1. 线性支持向量机LSVM 2. 对偶支持向量机DSVM 3. 核支持向量机KSVM 4. 软间隔支持向量机 5. 核逻辑回归KLR 6. 支持向量回归SVR 实际上，支持向量机SVM确实是机器学习中一个非常重要也是非常复杂的模型。关于SVM的详细理论和推导，本文不再阐述，读…

对于梯度下降算法（Gradient Descent Algorithm），我们都已经很熟悉了。无论是在线性回归（Linear Regression）、逻辑回归（Logistic Regression）还是神经网络（Neural Network）等等，都会用到梯度下降算法。我们先…

台湾大学林轩田老师的《机器学习基石》课程由浅入深、内容全面，基本涵盖了机器学习领域的很多方面。其作为机器学习的入门和进阶资料非常适合。而且林老师的教学风格也很幽默风趣，总让读者在轻松愉快的氛围中掌握知识。在此，笔者将把这门课的所有视频、笔记、书籍等详细资料分享给大家。 其中每个…

从去年8月份开始，AI界大IP吴恩达在coursera上开设了由5们课组成的深度学习专项课程，掀起了一股人工智能深度学习热潮。这里附上deeplearning.ai的官网： 今年年初，深度学习专项课程全部结束！但是吴恩达并没有停止AI之行。就在近日，吴恩达宣布已经建立了自己的首…