线性回归|线性神经网络|动手学深度学习

49 阅读1分钟

1. 假设我们有一些数据x1,,xnRx_1, \ldots, x_n \in \mathbb{R}。我们的目标是找到一个常数bb,使得最小化i(xib)2\sum_i (x_i - b)^2

  1. 找到最优值bb的解析解。
  2. 这个问题及其解与正态分布有什么关系?

1. 找到最优值 bb 的解析解

要找到一个常数 bb 使得 i=1n(xib)2\sum_{i=1}^{n} (x_i - b)^2 最小化,我们实际上是在求解这些数据的均值。这个问题可以通过求导并令导数为零来解决。

均值 μ\mu 是所有数据点 xix_i 的加权平均,权重相同(这里是1),可以表示为:

μ=1ni=1nxi\mu = \frac{1}{n} \sum_{i=1}^{n} x_i

要求 bb 使得 i=1n(xib)2\sum_{i=1}^{n} (x_i - b)^2 最小化,我们可以将上述求和式重写为:

i=1n(xib)2=i=1nxi22bi=1nxi+nb2\sum_{i=1}^{n} (x_i - b)^2 = \sum_{i=1}^{n} x_i^2 - 2b \sum_{i=1}^{n} x_i + nb^2

为了找到 bb 的值,我们对上述表达式关于 bb 求导,并令导数为零:

b(i=1nxi22bi=1nxi+nb2)=0\frac{\partial}{\partial b} \left( \sum_{i=1}^{n} x_i^2 - 2b \sum_{i=1}^{n} x_i + nb^2 \right) = 0

计算导数得到:

2i=1nxi+2nb=0-2 \sum_{i=1}^{n} x_i + 2nb = 0

解这个方程得到最优的 bb 值:

b=1ni=1nxib = \frac{1}{n} \sum_{i=1}^{n} x_i

2. 问题及其解与正态分布的关系

最优解就是均值