逻辑回归3

电影《回廊亭》结尾 周杨的那段关于光的诉说：

“人在最艰难的时候，只要看见光，哪怕只有那么一丝，都值得你为它好好活着。

我想说，如果没有光，没关系，我，便是自己的光。

它温暖，顽强，照亮远方。”

让我们学着成为自己人生路上的那道永远为自己点亮的光，哪怕再微弱。

继续逻辑回归：

6.多类别分类问题：一对多

如何使用逻辑回归来解决多类别分类问题--“一对多”（one-vs-all）的分类算法。

对于一个二元分类问题，数据看起来是如下左图所示，但对于一个多类分类问题，数据或许如右图所示：

==问题：给出3个类型的数据集，如何得到一个学习算法来进行分类？==

1. 我们有一个训练集，如上图表示的有3个类别，三角形表示y=1，方框表示y=2，叉叉表示y=3。第一步先将其分为3个二元分类问题。
2. 在分别用三个类别逐一开始创建新的"伪训练集”：依次选择其中的一个类型为正类，其他的为负类，将其转换为二元分类问题，再拟合出一个合适的分类器。

3. 现在我们来训练一个标准的逻辑回归分类器，这样就得到了一个正边界。依次这样操作，每次的模型记作$h_{\theta}^{(i)}(x)$。最后得到一系列的模型简记为：$h_{\theta}^{(i)}(x)=p(y=i|x;\theta)$，其中：i=(1,2,3....k)

4. 最后，在我们需要做预测时，将所有的分类机都运行一遍，然后对每一个输入变量，都选择最高可能性的输出变量。针对上面的三个类别的例子，我们要做的就是在三个分类器里输入x，然后选择一个让$h_{\theta}^{(i)}(x)$最大的i，即$max_ih_{\theta}^{(i)}(x)$。