关于机器学习的一些关键词
学习的时候一定要抛开现有的认知，这样才能对新知识有更高的接受度
| 名词 | 解释 | 备注 |
|---|---|---|
| 人工智能 | Artificial Intelligence，以计算机科学（Computer Science）为基础，由计算机、心理学、哲学等多学科交叉融合的交叉学科、新兴学科，研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学 | 一种学科 |
| 机器学习 | Machine Learning，研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能 | 一种领域 |
| 深度学习 | Deep Learning，深度学习是机器学习领域中一个新的研究方向 | 一个方向 |
| 神经网络 | Artificial Neural Networks，人工神经网络也简称为神经网络或称作连接模型（Connection Model），它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。 | 一种手段 |
| 梯度下降 | Gradient Descent，一种寻找目标函数最小化的方法，它利用梯度信息，通过不断迭代调整参数来寻找合适的目标值，来自微积分的概念。梯度下降是针对损失函数里的 weidget 和 bias 参数，进行求导，找出最优解，所以前置条件是需要找到损失函数 sse loss | |
| Batch Gradient Descent | 批量梯度下降 | |
| 线性回归 | Linear Regression，现实世界中的数据就像这个散点图，我们只能尽可能地在杂乱中寻找规律，作为机器学习的入门算法非常合适，它有“倒推”的含义在里面 | |
| 拟合 | Fitting，拟合就是把平面上一系列的点，用一条光滑的曲线连接起来。因为这条曲线有无数种可能，从而有各种拟合方法。拟合的曲线一般可以用函数表示，根据这个函数的不同有不同的拟合名字。 | |
| 损失函数 | LOSS Function，衡量回归模型误差的函数，用来评估一个回归模型做的有多好，也就是我们要的“直线”的评价标准。这个函数的值越小，说明直线越能拟合我们的数据 | |
| 过拟合 | Overfitting | |
| 欠拟合 | Underfitting，指模型不能在训练集上获得足够低的误差，可以通过增加网络复杂度或者在模型中增加特征； | |
| 泛化 | Generalization，指机器学习算法对新鲜样本的适应能力，可以认为就是举一反三的能力。 学习的目的是学到隐含在数据背后的规律，对具有同一规律的学习集以外的数据，经过训练的网络也能给出合适的输出，该能力称为泛化能力。 | |
| 线性可分 | 数据能被一条直线分为两类 | |
| 残差平方和 | Sum of Squares for Error，机器学习中它是回归问题中最常用的损失函数 | |
| 导数 | Derivative，一个函数在某一点的导数描述了这个函数在这一点附近的变化率。 | |
| 正向传播 | ||
| 反向传播 | ||
| 数据归一化 | ||
| 活化值 | 表征神经元的激活程度 | |
| neural | 神经 | |
| neuron | 神经元 | |
| 在线学习 | 每个训练样本的输入都会导致网络的更新，这种学习方式被称作在线学习。 | |
| 学习率 | Learning Rates，学习速率是指导我们该如何通过损失函数的梯度调整网络权重的超参数。学习率越低，损失函数的变化速度就越慢。 |
