mmd

本文将要介绍神经网络优化算法中的Momentum算法，RMSProp算法和Adam算法。资料来自于fastai课程和Ng的深度学习课程。 Momentum算法，又称动量法，直接使用了EWMA的思想，即指数加权移动平均法。在进行本次优化时，令之前几次优化的梯度大小和方向对本次优化…

这是一篇发布于2015年的老论文Cyclical Learning Rates for Training Neural Networks，因为在fastai库中经常使用fit_one_cycle这个方法，就去看了一些底层代码，同时找到了这篇论文大致浏览了一下，在此做一下总结。 …

基于windows10操作系统。 快捷键规律 对文本进行操作的快捷键都是Ctrl Shift Alt等，比如Ctrl + C/V/X/Z/A 对Cell（即jupyter中的单元格）进行操作的快捷键都是Esc，比如Esc + C/V//X/Z。 还有一个差别在于，用Ctrl必须…

在这节课中，我们将从零开始构建我们自己的图像分类器，看看是否能够取得顶级的准确率。就让我们一探究竟吧！ 我们将使用由 O. M. Parkhi et al., 2012引用的Oxford-IIIT Pet Dataset数据集，这个数据集中有12个品种的猫和25个品种的狗。我们…

工欲善其事必先利其器，为了进行fast.ai课程的学习，需要搭建一个使用GPU进行模型训练的环境。fast.ai官方推荐了许多的云服务器，如果手上没有现成的GPU可用的话，建议使用官方推荐的服务器，好像也不是很贵。fast.ai官方文档：为什么使用GPU？ 因为我的实验室有服务…

在本练习中，我们将使用高斯模型实现异常检测算法，并将其应用于检测网络上的故障服务器。我们还将看到如何使用协作过滤构建推荐系统，并将其应用于电影推荐数据集。 我们的第一个任务是使用高斯模型来检测数据集中未标记的示例是否应被视为异常。我们有一个简单的二维数据集开始，以帮助可视化该算…

在本练习中，您将实现K-means算法并将其应用于压缩图像。在第二部分中，您将使用主成分分析（PCA）来寻找面部图像的低维表示。 在本练习中，我们将实现K-means聚类，并使用它来压缩图像。我们将从一个简单的2D数据集开始，以了解K-means是如何工作的，然后我们将其应用于…

在本练习中，我们将从一些简单的2D数据集开始使用SVM来查看它们的工作原理。 顾名思义，基于线性核函数的SVM主要是用来实现线性决策边界的分类问题的。 可以看到这是一个线性决策边界的简单数据集，并且在(0.2,4.2)位置有一个异常点，下面我们将探索SVM中的超参数C（可以理解…

原创声明：本文为 SIGAI 原创文章，仅供个人学习使用，未经允许，不能用于商业目的。 其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》，清华大学出版社，雷明著，由SIGAI公众号作者倾力打造。 书的购买链接 书的勘误，优化，源代码资源 概率密度函…