模型的改善与泛化（梯度与等高线）

2020-05-11 1,343 阅读1分钟

跟我一起机器学习系列文章将首发于公众号：月来客栈，欢迎文末扫码关注！

在上一篇文章中，笔者介绍了什么是等高线，并且还同时直接给出了梯度的垂直于等高线的结论，但是并没有介绍为什么。因此本篇文章就来大致介绍一下梯度为什么会垂直于等高线。

设 $f(x,y)=c$ 为平面上任意一曲线，又由于曲线 $f(x,y)=0$ 的法向量为 $\overrightarrow{n}=\{F_x,F_y\}=\Delta F$ 。故，令 $f(x,y)=f(x,y)-c=0$ ，立即有曲线 $f(x,y)$ 的法向量为 $\overrightarrow{m}=\{f_x,f_y\}$ 。可以发现，曲线 $f(x,y)$ 也就是 $f(x,y)=c$ 的法向量 $\overrightarrow{m}$ 正好就是曲线 $f(x,y)=c$ 对应的梯度，所以可以得出梯度垂直于曲线（等高线） 的结论。

下面通过一个举例来说明：

如图所示，已知曲线 $f(x,y)=(x-2)^2 y^2-1=0$ ，因此其在 $P$ 点的梯度 $\overrightarrow{m}=\{2(x-2),2y\}|_{P}$ 。又因为曲线 $y=\sqrt{1-(x-2)^2}$ 在 $P$ 的斜率为：

将 $y=\sqrt{1-(x-2)^2}$ 代入 $(1)$ 得：

故，曲线 $y=\sqrt{1-(x-2)^2}$ 过点 $P$ 的切线的一个方向向量为 $\overrightarrow{n}=\{(y,2-x)\}|_P$

注：若直线斜率为 $k$ ，则他的一个方向向量为 $(1,k)$

由此可得： $\overrightarrow{m}\cdot\overrightarrow{n}=\{2(x-2),2y\}|_{P}\cdot\{(y,2-x)\}|_P=0$

所以 $\overrightarrow{m}\bot\overrightarrow{n}$ ，即曲线 $f(x,y)=(x-2)^2 y^2-1=0$ 在任意一点的梯度 $\overrightarrow{m}$ 均垂直于曲线 $f(x,y)$ 。

下图左边为随机选择一点，然后以梯度的反方向进行移动；右边为 $(0,0)$ 点附近一点，然后以梯度方向进行移动：

引用

徐小湛《高等数学》第96讲方向导数与梯度
图示及示例代码：关注公众号回复“示例代码”即可直接获取！