修订历史：
- 2024-08-26 完成机器学习基础概念笔记
1 术语和定义
1.1 基础技术术语
1.1.1 机器学习 machine learning
让机器具备找一个函数的能力。
1.1.2 回归 regression
假设要找的函数的输出是一个数值，一个标量，这种机器学习的任务称为回归。
1.1.3 分类 classification
假设要找的函数的输出是从设定好的选项里面选择一个当作输出，该任务称为分类。
类别 class
分类任务中，这些事先准备好的选项可以被称为类别。
1.1.4 结构化学习 structured learning
这种让机器产生有结构的东西的问题称为结构化学习。比如让机器画一张图，写一篇文章。
1.1.5 领域知识 domain knowledge
领域知识指的是对所研究的问题的本质上的了解。
1.1.6 模型 model
带有未知的参数的函数。
1.1.7 特征 feature
特征是模型里面已知的，来自于后台的信息。
权重 weight
模型中的一个未知的参数。
偏置 bias
模型中的一个未知的参数。
1.1.8 损失 loss
损失是权重和偏置的函数
1.1.9 标签 label
真实的值称为标签。
1.1.10 平均绝对误差 Mean Absolute Error; MAE
估测的值与实际的值之间的差的绝对值。
均方误差 Mean Squared Error；MSE
估测的值与标签的差的平方。
1.1.11 交叉熵 cross entropy
一种用于计算当估测值和标签都是概率分布情况下的差距的计算方法。
1.1.12 误差表面 error surface
尝试模型的未知参数的各种不同值，计算它的损失，以此绘制出来的等高线图称为误差表面。
1.1.13 梯度下降 gradient descent
一种最优化方法。
1.1.14 超参数 hyperparameter
在机器学习中，需要自己设定，不是机器自己找出来的参数称为超参数。
2 机器学习基础
2.1 机器学习训练
机器学习找函数（机器学习训练）的过程，可以分成 3 个步骤：
- 写出一个带有未知参数的函数 ，比如 ；
- 定义损失函数；
- 求解一个最优化问题。
2.2 机器学习训练停止条件
常见的训练停止有两种情况：
- 达到设定的最大次数；
- 损失值稳定，不再出现变化。
