人工智能学习笔记 - 数学基础 - 微积分

废柴丶
54 阅读1分钟

人工智能学习笔记 - 数学基础 - 微积分

微积分是人工智能数学基础的重要组成部分，尤其在优化、模型训练和连续函数分析中有广泛应用。

导数（Derivative）

导数用于描述函数的瞬时变化率或斜率，是微积分的核心概念。

定义

函数 f(x)f(x) 在点 xx 处的导数定义为：

f′(x)=lim⁡Δx→0f(x+Δx)−f(x)Δxf'(x) = \lim_{\Delta x \to 0} \frac{f(x+\Delta x) - f(x)}{\Delta x}

  • 几何直观：

    • 表示函数曲线在某点的切线斜率
    • 切线斜率大：曲线陡峭；切线水平：导数为0

  • 性质：

    • 线性性：(af+bg)′=af′+bg′(af + bg)' = a f' + b g'
    • 乘法法则：(fg)′=f′g+fg′(fg)' = f'g + fg'
    • 链式法则：(f∘g)′=(f′∘g)⋅g′(f \circ g)' = (f' \circ g) \cdot g'

常用函数导数

函数 f(x)f(x)导数 f′(x)f'(x)几何理解
cc00水平直线
xnx^nnxn−1nx^{n-1}幂函数曲线斜率随 xx 变化
sin⁡x\sin xcos⁡x\cos x正弦曲线切线斜率随周期变化
cos⁡x\cos x−sin⁡x-\sin x余弦曲线切线斜率随周期变化
tan⁡x\tan xsec⁡2x\sec^2 x正切曲线陡峭处切线斜率大
exe^xexe^x指数曲线切线斜率等于函数值
ln⁡x\ln x1/x1/x对数曲线在 x>0x>0 上斜率递减
axa^xaxln⁡aa^x \ln a指数函数切线斜率与底数有关
x\sqrt{x}1/(2x)1/(2\sqrt{x})平方根曲线随 xx 增大斜率减小
arcsin⁡x\arcsin x1/1−x21/\sqrt{1-x^2}反正弦曲线切线斜率接近 ±1 时增大
arccos⁡x\arccos x−1/1−x2-1/\sqrt{1-x^2}反余弦曲线切线斜率接近 ±1 时增大
arctan⁡x\arctan x1/(1+x2)1/(1+x^2)反正切曲线切线斜率随 $x$ 增大而减小

偏导（Partial Derivative）

描述多变量函数对某个变量的瞬时变化率，其它变量固定。

定义

对于 f(x1,…,xn)f(x_1, \dots, x_n)：

∂f∂xi=lim⁡Δxi→0f(x1,…,xi+Δxi,…,xn)−f(x1,…,xi,…,xn)Δxi\frac{\partial f}{\partial x_i} = \lim_{\Delta x_i \to 0} \frac{f(x_1, \dots, x_i + \Delta x_i, \dots, x_n) - f(x_1, \dots, x_i, \dots, x_n)}{\Delta x_i}

  • 几何直观：

    • 在固定其他变量的平面上，表示函数沿 xix_i 方向的切线斜率
    • 类似“沿某方向的瞬时变化率”

梯度（Gradient）

梯度是偏导组成的向量，指向函数值增加最快的方向。

定义

∇f=[∂f∂x1 ∂f∂x2 ⋮ ∂f∂xn]\nabla f = \begin{bmatrix} \frac{\partial f}{\partial x_1} \ \frac{\partial f}{\partial x_2} \ \vdots \ \frac{\partial f}{\partial x_n} \end{bmatrix}

  • 几何直观：

    • 梯度方向：函数增大最快的方向
    • 梯度模：函数增长的最大速率
    • 二维空间可视化为“坡度向量”

梯度下降（Gradient Descent）

优化方法，用于寻找函数最小值（如损失函数最小化）。

更新公式

xt+1=xt−η∇f(xt)\mathbf{x}_{t+1} = \mathbf{x}_t - \eta \nabla f(\mathbf{x}_t)

  • η\eta：学习率

  • 直观理解：

    • 每一步沿梯度反方向走，相当于沿“最陡下坡”寻找局部最小值

泰勒展开（Taylor Expansion）

函数在某一点的多项式近似，便于局部分析。

定义

f(x)=f(a)+f′(a)(x−a)+f′′(a)2!(x−a)2+⋯+f(n)(a)n!(x−a)n+Rn(x)f(x) = f(a) + f'(a)(x-a) + \frac{f''(a)}{2!}(x-a)^2 + \cdots + \frac{f^{(n)}(a)}{n!}(x-a)^n + R_n(x)

  • 几何直观：

    • 一阶：切线近似
    • 二阶：抛物线近似
    • 表示函数局部形状的多项式近似

积分（Integral）

导数的逆运算，表示函数在区间上的累积量。

黎曼积分（Riemann Integral）

∫abf(x),dx=lim⁡n→∞∑i=1nf(xi∗)Δxi\int_a^b f(x) , dx = \lim_{n \to \infty} \sum_{i=1}^{n} f(x_i^*) \Delta x_i
  • 几何直观：曲线下的面积累积

勒贝格积分（Lebesgue Integral）

∫f,dμ\int f , d\mu

  • 几何直观：

    • 按函数值分层累加面积
    • 处理更多函数类型（概率论和现代分析常用）

总结

  • 导数、偏导和梯度都是描述“变化率”的工具
  • 梯度下降是利用梯度信息进行优化
  • 泰勒展开可用于函数局部近似和优化分析
  • 积分用于累积和总量计算，导数与积分互为逆运算
avatar
文章
阅读
粉丝