斯坦福大学2014机器学习教程中文笔记目录
- 第一周
一、 引言(Introduction)
1.1 欢迎
1.2 机器学习是什么？
1.3 监督学习
1.4 无监督学习
二、单变量线性回归(Linear Regression with One Variable)
2.1 模型表示
2.2 代价函数
2.3 代价函数的直观理解I
2.4 代价函数的直观理解II
2.5 梯度下降
2.6 梯度下降的直观理解
2.7 梯度下降的线性回归
2.8 接下来的内容
三、线性代数回顾(Linear Algebra Review)
3.1 矩阵和向量
3.2 加法和标量乘法
3.3 矩阵向量乘法
3.4 矩阵乘法
3.5 矩阵乘法的性质
3.6 逆、转置
- 第二周
四、多变量线性回归(Linear Regression with Multiple Variables)
4.1 多维特征
4.2 多变量梯度下降
4.3 梯度下降法实践1-特征缩放
4.4 梯度下降法实践2-学习率
4.5 特征和多项式回归
4.6 正规方程
4.7 正规方程及不可逆性（选修）
五、Octave教程(Octave Tutorial)
5.1 基本操作
5.2 移动数据
5.3 计算数据
5.4 绘图数据
5.5 控制语句：for，while，if语句
5.6 向量化 88
5.7 工作和提交的编程练习
- 第三周
六、逻辑回归(Logistic Regression)
6.1 分类问题
6.2 假说表示
6.3 判定边界
6.4 代价函数
6.5 简化的成本函数和梯度下降
6.6 高级优化
6.7 多类别分类：一对多
七、正则化(Regularization)
7.1 过拟合的问题
7.2 代价函数
7.3 正则化线性回归
7.4 正则化的逻辑回归模型
- 第四周
第八、神经网络：表述(Neural Networks: Representation)
8.1 非线性假设
8.2 神经元和大脑
8.3 模型表示1
8.4 模型表示2
8.5 样本和直观理解1
8.6 样本和直观理解II
8.7 多类分类
- 第五周
九、神经网络的学习(Neural Networks: Learning)
9.1 代价函数
9.2 反向传播算法
9.3 反向传播算法的直观理解
9.4 实现注意：展开参数
9.5 梯度检验
9.6 随机初始化
9.7 综合起来
9.8 自主驾驶
- 第六周
十、应用机器学习的建议(Advice for Applying Machine Learning)
10.1 决定下一步做什么
10.2 评估一个假设
10.3 模型选择和交叉验证集
10.4 诊断偏差和方差
10.5 正则化和偏差/方差
10.6 学习曲线
10.7 决定下一步做什么
十一、机器学习系统的设计(Machine Learning System Design)
11.1 首先要做什么
11.2 误差分析
11.3 类偏斜的误差度量
11.4 查准率和查全率之间的权衡
11.5 机器学习的数据
第7周
十二、支持向量机(Support Vector Machines)
12.1 优化目标
12.2 大边界的直观理解
12.3 数学背后的大边界分类（选修）
12.4 核函数1
12.5 核函数2
12.6 使用支持向量机
- 第八周
十三、聚类(Clustering)
13.1 无监督学习：简介
13.2 K-均值算法
13.3 优化目标
13.4 随机初始化
13.5 选择聚类数
十四、降维(Dimensionality Reduction)
14.1 动机一：数据压缩
14.2 动机二：数据可视化
14.3 主成分分析问题
14.4 主成分分析算法
14.5 选择主成分的数量
14.6 重建的压缩表示
14.7 主成分分析法的应用建议
- 第九周
十五、异常检测(Anomaly Detection)
15.1 问题的动机
15.2 高斯分布
15.3 算法
15.4 开发和评价一个异常检测系统
15.5 异常检测与监督学习对比
15.6 选择特征
15.7 多元高斯分布（选修）
15.8 使用多元高斯分布进行异常检测（选修）
十六、推荐系统(Recommender Systems)
16.1 问题形式化
16.2 基于内容的推荐系统
16.3 协同过滤
16.4 协同过滤算法
16.5 向量化：低秩矩阵分解
16.6 推行工作上的细节：均值归一化
- 第十周
十七、大规模机器学习(Large Scale Machine Learning)
17.1 大型数据集的学习
17.2 随机梯度下降法
17.3 小批量梯度下降
17.4 随机梯度下降收敛
17.5 在线学习
17.6 映射化简和数据并行
十八、应用实例：图片文字识别(Application Example: Photo OCR)
18.1 问题描述和流程图
18.2 滑动窗口
18.3 获取大量数据和人工数据
18.4 上限分析：哪部分管道的接下去做
十九、总结(Conclusion)
19.1 总结和致谢
\
深度学习笔记目录
第一门课 神经网络和深度学习(Neural Networks and Deep Learning)
第一周：深度学习引言(Introduction to Deep Learning)
1.1 欢迎(Welcome) 1
1.2 什么是神经网络？(What is a Neural Network)
1.3 神经网络的监督学习(Supervised Learning with Neural Networks)
1.4 为什么神经网络会流行？(Why is Deep Learning taking off?)
1.5 关于本课程(About this Course)
1.6 课程资源(Course Resources)
1.7 Geoffery Hinton 专访(Geoffery Hinton interview)
第二周：神经网络的编程基础(Basics of Neural Network programming)
2.1 二分类(Binary Classification)
2.2 逻辑回归(Logistic Regression)
2.3 逻辑回归的代价函数（Logistic Regression Cost Function）
2.4 梯度下降（Gradient Descent）
2.5 导数（Derivatives）
2.6 更多的导数例子（More Derivative Examples）
2.7 计算图（Computation Graph）
2.8 计算图导数（Derivatives with a Computation Graph）
2.9 逻辑回归的梯度下降（Logistic Regression Gradient Descent）
2.10 梯度下降的例子(Gradient Descent on m Examples)
2.11 向量化(Vectorization)
2.12 更多的向量化例子（More Examples of Vectorization）
2.13 向量化逻辑回归(Vectorizing Logistic Regression)
2.14 向量化逻辑回归的梯度计算（Vectorizing Logistic Regression's Gradient）
2.15 Python中的广播机制（Broadcasting in Python）
2.16 关于 Python与numpy向量的使用（A note on python or numpy vectors）
2.17 Jupyter/iPython Notebooks快速入门（Quick tour of Jupyter/iPython Notebooks）
2.18 逻辑回归损失函数详解（Explanation of logistic regression cost function）
第三周：浅层神经网络(Shallow neural networks)
3.1 神经网络概述（Neural Network Overview）
3.2 神经网络的表示（Neural Network Representation）
3.3 计算一个神经网络的输出（Computing a Neural Network's output）
3.4 多样本向量化（Vectorizing across multiple examples）
3.5 向量化实现的解释（Justification for vectorized implementation）
3.6 激活函数（Activation functions）
3.7 为什么需要非线性激活函数？（why need a nonlinear activation function?）
3.8 激活函数的导数（Derivatives of activation functions）
3.9 神经网络的梯度下降（Gradient descent for neural networks）
3.10（选修）直观理解反向传播（Backpropagation intuition）
3.11 随机初始化（Random+Initialization）
第四周：深层神经网络(Deep Neural Networks)
4.1 深层神经网络（Deep L-layer neural network）
4.2 前向传播和反向传播（Forward and backward propagation）
4.3 深层网络中的前向和反向传播（Forward propagation in a Deep Network）
4.4 核对矩阵的维数（Getting your matrix dimensions right）
4.5 为什么使用深层表示？（Why deep representations?）
4.6 搭建神经网络块（Building blocks of deep neural networks）
4.7 参数VS超参数（Parameters vs Hyperparameters）
4.8 深度学习和大脑的关联性（What does this have to do with the brain?）
第二门课 改善深层神经网络：超参数调试、正则化以及优化(Improving Deep Neural Networks:Hyperparameter tuning, Regularization and Optimization)
第一周：深度学习的实用层面(Practical aspects of Deep Learning)
1.1 训练，验证，测试集（Train / Dev / Test sets）
1.2 偏差，方差（Bias /Variance）
1.3 机器学习基础（Basic Recipe for Machine Learning）
1.4 正则化（Regularization）
1.5 为什么正则化有利于预防过拟合呢？（Why regularization reduces overfitting?）
1.6 dropout 正则化（Dropout Regularization）
1.7 理解 dropout（Understanding Dropout）
1.8 其他正则化方法（Other regularization methods）
1.9 标准化输入（Normalizing inputs）
1.10 梯度消失/梯度爆炸（Vanishing / Exploding gradients）
1.11 神经网络的权重初始化（Weight Initialization for Deep NetworksVanishing /Exploding gradients）
1.12 梯度的数值逼近（Numerical approximation of gradients）
1.13 梯度检验（Gradient checking）
1.14 梯度检验应用的注意事项（Gradient Checking Implementation Notes）
第二周：优化算法 (Optimization algorithms)
2.1 Mini-batch 梯度下降（Mini-batch gradient descent）
2.2 理解Mini-batch 梯度下降（Understanding Mini-batch gradient descent）
2.3 指数加权平均（Exponentially weighted averages）
2.4 理解指数加权平均（Understanding Exponentially weighted averages）
2.5 指数加权平均的偏差修正（Bias correction in exponentially weighted averages）
2.6 momentum梯度下降（Gradient descent with momentum）
2.7 RMSprop——root mean square prop（RMSprop）
2.8 Adam优化算法（Adam optimization algorithm）
2.9 学习率衰减（Learning rate decay）
2.10 局部最优问题（The problem of local optima）
第三周超参数调试，batch正则化和程序框架（Hyperparameter tuning, Batch Normalization and Programming Frameworks)
3.1 调试处理（Tuning process）
3.2 为超参数选择和适合范围（Using an appropriate scale to pick hyperparameters）
3.3 超参数训练的实践：Pandas vs. Caviar（Hyperparameters tuning in practice: Pandas vs. Caviar）
3.4 网络中的正则化激活函数（Normalizing activations in a network）
3.5 将 Batch Norm拟合进神经网络（Fitting Batch Norm into a neural network）
3.6 为什么Batch Norm奏效？（Why does Batch Norm work?）
3.7 测试时的Batch Norm（Batch Norm at test time）
3.8 Softmax 回归（Softmax Regression）
3.9 训练一个Softmax 分类器（Training a softmax classifier）
3.10 深度学习框架（Deep learning frameworks）
3.11 TensorFlow（TensorFlow）
第三门课 结构化机器学习项目 (Structuring Machine Learning Projects)
第一周：机器学习策略（1）(ML Strategy (1))
