1.logistic regression模型

线性回归中 hθ(x) = θTx
作一下修改，变成下图形式

定义logistic函数g如下

2.决策边界

决策边界不是训练集的属性，而是假设本身及其参数的属性
简单来说就是一个分类问题划分依据，可以是一条直线，在这条直线的上方就是y=1，下方就是y=0

则有下图，中间的洋红色直线即为 决策边界（即x1 + x2 = 3）

3.逻辑回归——代价函数

4.简化代价函数与梯度下降

将上述式子合并为一个式子

Cost(hθ(x), y) = -ylog(hθ(x)) - (1 - y)log(1 - hθ(x))

当y = 1时，后一个式子整体为0
当y = 0时，前一个式子整体为0

进而我们得到

注意：

1. 逻辑回归的代价函数看似与线性回归的代价函数相同，但本质不同。

2. 逻辑回归中的hθ(x) = 1 / e-θT^x（T是θ的上标）

3. 线性回归中的hθ(x) = θTx

5.高级优化

本质：  利用一些高级算法，来更快计算出结果。

通常这些算法：

1. 能够自主选择α
2. 速度大大快于梯度下降
3. 比梯度下降更为复杂

6.多元分类：一对多

多元分类：  结果有多种可能

如下例，有三种可能结果。

即

最后需要输入一个x，选择h最大的类别，也即在三个分类器中选择可信度最高，效果最好的