人工智能学习笔记 - 数学基础 - 概率与统计

人工智能学习笔记 - 数学基础 - 概率与统计

概率与统计是人工智能核心工具，用于数据分析、模型推断和不确定性处理。

---

概率分布（Probability Distribution）

描述随机变量可能取值及其概率。

• 伯努利分布（Bernoulli）：二值事件（0或1），概率 $p$。
• 高斯分布（Gaussian/Normal）：连续变量，均值 $\mu$，方差 $\sigma^2$。
• 指数族分布（Exponential Family）：包括伯努利、二项、泊松、高斯等，方便统计建模。

---

条件概率（Conditional Probability）

• 直观理解：在已知事件 $B$ 发生的情况下，事件 $A$ 发生的概率。

---

贝叶斯公式（Bayes' Theorem）

• 用途：从已知先验和似然推断后验概率
• 应用：贝叶斯推断、朴素贝叶斯分类器

---

最大似然估计（Maximum Likelihood Estimation, MLE）

寻找参数 $\theta$ 使得观测数据出现概率最大。

• 直观理解：选择最能“解释”数据的参数。

---

假设检验（Hypothesis Testing）

• 检验数据是否支持某个假设 $H_0$。

• 步骤：

  1. 设定原假设 $H_0$ 和备择假设 $H_1$。
  2. 选择显著性水平 $\alpha$。
  3. 计算统计量与 p 值。
  4. 决定接受或拒绝 $H_0$。

---

期望与方差（Expectation & Variance）

• 期望（均值）：
  $$\mathbb{E}[X] = \sum x P(X=x) \quad \text{或} \quad \int x f(x) dx$$
• 方差：
  $$\mathrm{Var}(X) = \mathbb{E}[(X - \mathbb{E}[X])^2]$$
• 意义：期望描述中心趋势，方差描述离散程度。

---

蒙特卡洛方法（Monte Carlo Method）

用随机采样近似计算复杂问题（积分、概率、优化）。

• 原理：通过大量随机样本统计近似结果。
• 应用：高维积分、模拟、强化学习策略评估。

---

总结

• 概率分布是随机变量的核心描述工具。
• 条件概率与贝叶斯公式用于推断和更新知识。
• 最大似然和假设检验用于参数估计与数据验证。
• 期望、方差与蒙特卡洛方法在数据分析和数值计算中广泛应用。