朴素贝叶斯=特征条件独立+贝叶斯定理后验概率最大化等价于期望风险最小化参数估计极大似然估计例子贝叶斯估计克服估计概率为0的情况（分子加lamda，分母加k*lamda）例子

例子。依次使用SGD，直至没有数据点被误分类

整体方法步骤三要素模型：包括假设空间与决策（或条件分布）函数策略：确定损失函数和风险函数（经验风险或结构风险）算法：解析解或数值计算留出法和交叉验证法留出法：即训练集：验证集：测试集=4：3：3，适合

K近邻模型存在三个基本要素，距离度量、k值的选择和分类决策规则模型：没有显示形式三个基本要素确定了，输入输出的映射也就决定了度量距离k值的选择（选用交叉验证法）分类决策规则kd树

AdaBoost是前向分布加法算法的特例。这时，模型是由基本分类器组成的加法模型，损失函数是指数函数 分类：二叉分类树（指数损失函数）；回归：二叉回归树（平方损失函数）。 采用前向分布算法。分类回归树，相当于基本分类器（基函数）为决策树的AdaBoost算法。 计算出Rmj，C…

如果满足上述条件，可以构成一个内积封闭的希尔伯特空间，必能找到合适的映射Φ(x)。 即无核，线性可分场景。可以先用这种试试 多项式核函数可以实现将低维的输入空间映射到高纬的特征空间，但是多项式核函数的参数多，当多项式的阶数比较高的时候，核矩阵的元素值将趋于无穷大或者无穷小，计算…

逻辑斯谛回归分为二项与多项一个事件发生的概率与其不发生的概率的比值的对数几率是输入x的线性函数最大熵模型（注意是判别模型）学习概率模型时，在所有可能的概率（分布）中，熵最大的模型是最好的模型最大熵模型