这是我参与更文挑战的第 3 天，活动详情查看： 更文挑战。
本篇文章是李宏毅老师的机器学习课程笔记，课程传送门👇。
【機器學習2021】預測本頻道觀看人數 (下) - 深度學習基本概念簡介
Model Bias 模型限制
Linear 的 Model 也许太过简单了，对 Linear 的 Model 来说 x1 跟 y 的关系就是一条直线，随着 x1 越来越高 y 就应该越来越大。可以设定不同的 w 改变这条线的斜率，也可以设定不同的 b 改变这一条蓝色的直线跟 y 轴的交叉点，但是无论你怎么改 w 跟 b 它永远都是一条直线，永远都是 x1 越大 y 就越大，前一天观看的人数越多，隔天的观看人数就越多。
但也许现实并不是这个样子，如下方红色线，也许在 x1 小于某一个数值的时候，前一天的观看人数跟隔天的观看人数是成正比，当 x1 大于一个峰值以后，前天观看的人数太高，那隔天观看人数就会变少。我们永远无法用 Linear 的 Model 制造红色这一条线，所以显然 Linear 的 Model 有很大的限制，这一种来自于 Model 的限制 叫做 Model Bias。
Piecewise Linear Curves 分段线性曲线
Model Bias 跟前面提到的 b 的 Bias 不太一样，它指的意思是 Model 没有办法模拟真实的状况，我们需要写一个更复杂的、更有弹性的、有未知参数的 Function。
观察一下红色的这条曲线，它可以看作是一个常数再加上一群蓝色的 Function。这个蓝色的 Function 的特性是这样子的，当 x 轴的值小于某一个 threshold 的时候，它是某一个定值；大于另外一个 threshold 的时候，又是另外一个定值；中间有一个斜坡。所以它是先水平，然后再斜坡，然后再水平的。
备注： 标 1 的直线对应红色曲线第一段，斜坡的起点在红色第一段起点，终点在红色第二段终点，他们的斜率是一样的，用标 0 的直线加上标 1 的直线，就变成了红色曲线的第一段。 用同样的方式可以画出第 2，3 条直线，最后 0 + 1 + 2 + 3 就可以得到完整的红色曲线。
我们称上面的类似红色曲线一样有很多线段所组成的曲线，为 Piecewise Linear Curves，中文可以叫做分段线性曲线。也就是说我们有办法用常数项加一大堆的蓝色 Function 将它组合出来，转折的点越多，需要的这个蓝色的 Function 就越多。
再极端一点，它是如下图一样的曲线，我们可以在上面取一些点，再把这些点连起来变成一个 Piecewise Linear Curves，如果点取的位置适当且足够多，我们就有足够的蓝色 Function，它就会无限逼近曲线本身。
所以综上可以知道，x 跟 y 的关系也许非常地复杂，但我们可以想办法写一个带有未知数的 Function， 这个 Function 它表示的就是一堆蓝色的 Function 加上一个 Constant。
Sigmoid Function
那该如何写出这个 Function 呢？要直接写出它没有那么容易，但我们可以用一条曲线去逼近它，我们称之为 Sigmoid Function。
备注： 输入的 x1 的值趋近于无穷大的时候，e 这一项就会消失，这一条这边就会收敛在高度是 c 的地方； x1 趋近于负无穷大时，分母就会非常大，y 的值就会趋近于 0； 所以可以用这样子的一个 Function 画出的曲线来逼近蓝色的 Function。
我们通过调整 b，w 和 c，就可以制造各种不同形状的 Sigmoid Function，然后用各种不同形状的 Sigmoid Function 去逼近蓝色的 Function，将它们叠起来以后就可以逼近各种不同的 Piecewise Linear Curves。
最后我们的式子就变成了下方这样子，这是个非常有弹性的有未知参数的 Function。其中红色划线部分就是我们最初的蓝色 Function。
术语合集
| 英文 | 中文 |
|---|---|
| Model Bias | 模型偏差 |
| threshold | 阈值，临界点 |
| Piecewise Linear Curves | 分段线性曲线 |
| Sigmoid Function | S 形函数 |
