模型
- 通俗来说就是需要学习的概率分布和决策函数
假设空间: 所有可能的条件概率分布或决策函数构成的集合,就是模型的假设空间(hypothesis space)
策略
从假设空间中学习最优模型的方法,称为策略
衡量模型好与不好,需要一些指标,这时候需要引入损失函数和风险函数来衡量
通常预测值与真实值不相等,我们用损失函数(less function)或者代价函数(cost function)来度量预测错误的程度,记作L(Y,F(X))
- 0-1损失函数
- 平方损失函数
- 绝对损失函数
- 对数损失函数(交叉熵损失函数)
算法
算法指的是学习模型时的具体计算方法
机器学习算法原理
- 线性回归
- 单线性回归回归
- 单线性回归回归
- 非二次求极值
梯度下降
1.随机选择一个参数组合,计算代价函数 2.然后我们寻找下一个能让代价函数值最低的参数组合 3.持续这么做直到一个局部最小值(极小值)
这里因为没有完成所有的参数组合,所以不能确定我们得到的局部最小值是否是全局最小值.
