首先定义凸集，如果x，y属于某个集合M，并且所有的θx+(1-θ)f(y)也属于M，那么M为一个凸集。如果函数f的定义域是凸集，并且满足 则该函数为凸函数。 如果函数存在二阶导并且为正，或者多元函数的Hessian矩阵半正定则均为凸函数。 「注意」：中国大陆数学界某些机构关于函…

记录分类错误的次数。 对于「对数函数」，由于其具有「单调性」，在求最优化问题时，结果与原始目标一致，在含有乘积的目标函数中(如极大似然函数)，通过「取对数」可以转化为求和的形式，从而大大简化目标函数的「求解」过程。 即真实值与预测值之差的平方和。通常用于线性模型中，如线性回归模…

机器学习中大部分为优化问题，而绝大部分优化问题都可以使用「梯度下降法」处理。 梯度下降法的数学原理是函数沿着梯度方向具有「最大变化率」，那么在优化目标函数时沿着负梯度方向去减少函数值，以此达到优化目标。 通过迭代的方式寻找「最优参数」，最优参数是指是目标函数达到最小值时的参数。…

「回归模型」：例如预测明天的股价。 「分类模型」：将样本分为两类或者多类。 「结构化学习模型」：输出的不是向量而是其他「结构。」 「监督学习」：学习的样本「全部」具有标签，训练网络得到一个最优模型。 「无监督学习」：训练的样本「全部」无标签，例如「聚类样本。」 「半监督学习」：…

最后将图片上传到你的图床。 因为hexo的文章是运用markdown书写，相当灵活。 我们只需要在上面插入cover: XXXX，就可以设置好封面了。 注意，[wodeitihuan]不能少，等会要运用python批量替换。

偏差度量了学习算法的期望与真实结果的偏差，刻画了算法本身的「拟合能力」，方差度量了同样大小的训练集的变动所导致的学习性能的变化。 偏差用于描述模型的拟合能力，方差用来描述模型的稳定性。 当训练足够的时候，如果拟合能力过强会导致过拟合。 学习器在训练集上的误差被称为“训练误差”或…

欠拟合指的是模型不能够再训练集上获得足够低的「训练误差」，往往由于特征维度过少，导致拟合的函数无法满足训练集，导致误差较大。 过拟合指的是模型训练误差与测试误差之间差距过大；具体来说就是模型在训练集上训练过度，导致泛化能力过差。 「所有为了减少测试误差的策略统称为正则化方法」，…

无量纲化主要解决数据的「量纲不同」的问题，使不同的数据转换到「同一」规格，常见的方法有「标准化」和「区间缩放法」。标准化的假设前提是特征值服从「正态分布」。区间放缩法利用了「边界值」信息，将特征的取值区间缩放到某个「特点」的范围，列如[0,1]等。 理论上，标准化适用于服从正态…

常用的性能度量指标有：「精确率」、「召回率」、「F1」、「TPR」、「FPR」。 精确率又称查准率，顾名思义适用于对准确率较高的应用，例如网页检索与推荐。召回率又称查全率，适用于检测信贷风险、逃犯信息等。精确率与召回率是一对「矛盾」的度量，所以需要找一个「平衡点」，往往使用F1…