机器学习准则（期望风险、经验风险、结构风险）

基本概念

输入空间、特征空间和输出空间

在监督学习中，将输入和输出所有可能的取值的集合分别称为输入空间(input space) 和输出空间(output space) 。
每个具体的输入是一个实例(instance)， 通常由特征向量(feature vector)表示。这时，所有特征向量存在的空间称为特征空间(feature space) 。
在监督学习的过程中, 将输入和输出看作是定义在输入空间和输出空间上的随机变量的取值，习惯上输入变量和输出变量分别用大写字母 X , Y 表示。输入变量的取值用小写字母 x 表示，输出变量的取值用小写字母 y 表示

联合概率分布

监督学习中假设输入与输出变量 X 和 Y 遵循联合概率分布 P(X,Y) 。 P(X,Y) 表示分布函数或概率密度函数。 X 和 Y 遵循联合概率分布的假设是监督学习关于数据的基本假设

假设空间

或者真实条件概率分布

p(y|x)

(1-2)

机器学习三要素

机器学习方法可以大致地分为三个基本要素：模型、学习准则、优化算法。