生成模型和判别模型能计算出联合概率分布，可以反映同类数据本身的相似度. 学习收敛速度更快，即当样本容量增加的时候，学习到

定义

监督学习的任务就是学习一个模型，应用这一模型，对给定的输入预测相应的输出，这个模型的一般形式为决策函数:

$Y = f(X)$

或者条件概率分布：

$p(Y|X)$

监督学习方法又可以分为生成方法(generative approach) 和判别方法(discriminative approach). 所学到的模型分别称为生成模型(generative model) 和判别模型(discriminative model).

—— 李航《统计学习方法》

同样地，在李航老师的这本《统计学习方法》中，对生成方法和判别方法做出了如下定义：

生成方法由数据学习联合概率分布 $P(X,Y)$ ，然后求出条件概率分布 $P(Y|X)$ 作为预测的模型，即生成模型：

$P(Y|X) = \frac{P(X,Y)}{P(X)}$

这样的方法之所以称为生成方法，是因为模型表示了给定输入 $X$ 产生输出 $Y$ 的生成关系，典型的生成模型有：朴素贝叶斯法和隐马尔可夫模型.

判别方法由数据直接学习决策函数 $f(x)$ 或者条件概率分布 $P(Y|X)$ 作为预测的模型，即判别模型. 判别模型关心的是给定输入 $X$ ，应当输出什么样的 $Y$ .典型的判别模型包括：k近邻法、感知机、决策树、逻辑斯谛回归模型、最大熵模型、支持向量机、提升方法和条件随机场等.