机器学习笔记概述

监督学习和无监督学习

监督学习： 回归问题、分类问题

无监督学习： 所得数据集无标签或类型。聚类算法

线性回归算法

假设函数：x-> h(x)-> y

$h_\theta=\theta_0+\theta_1x$ （单变量线性回归）

代价函数：$J(\theta_0,\theta_1)={1\over2m}\sum\limits_{i=1}^{m}{}(h_\theta(x^{(i)})-y^{(i)})^{2}$

梯度下降算法：

 $\theta_j:=\theta_j-\alpha{\partial\over\partial\theta_j}J(\theta_0,\theta_1)$ ( 相似地更新 j = 0 and j = 1 )

 $\alpha$ : 学习率，选择合适学习率，最终 $\theta_0、\theta_1$ 会收敛于一个值（局部最优点，偏导等于0）

得到结果：

需选择学习率，多次迭代，当n较大时计算较快

特征方程算法：

无需选择学习率，特征变量的数量n较大时计算较慢

分类算法——Logistic回归

假设函数：$h_\theta(x)=g(\theta^Tx)$

$g(z)={1\over{1+e^{-z}}}$ （sigmoid函数）

预测：

若$h_\theta(x)\geq0.5$ , 即$z\geq0$ 时， $y=1$ 正类；

若$h_\theta(x)<0.5$ , 即$z\leq0$ 时， $y=0$ 负类

代价函数：$J(\theta)={1\over m}\sum\limits_{i=1}^{m}Cost(h_\theta(x)^{(i)},y^{(i)})$

     其中 $Cost(h_\theta(x),y)=\left\{ \begin{aligned} -log(h_\theta(x) , y=1 \\-log(1-h_\theta(x)) , y=0 \end{aligned} \right.$

简化得：$J(\theta)=-{1\over m}[\sum\limits_{i=1}^{m} y^{(i)}logh_\theta(x^{(i)})+(1-y^{(i)})log(1-h_\theta(x^{(i)}))]$

    $\theta_j:=\theta_j-\alpha{\partial\over\partial\theta_j}J(\theta)$

得到结果：

    $\theta_j:=\theta_j-\alpha\sum\limits_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})x_j^{(i)}$

解决过拟合问题

方法：正则化