人工智能导论基础(23.10.31)

117 阅读48分钟

1 关系

2:补充:最大似然估计

3:全概率和贝叶斯公式

视频中写错了,应该是1/21 懂意思就行

全概率:

条件概率公式:

贝叶斯公式:

7/18 称为后验概率。

4 : 何为随机变量

常见变量是代数变量,随机变量本质上是个函数。

5:泊松分布和泊松近似

两个条件:

1 : 独立性假设: 各小时之间有没有通过车,是不会相互影响的。

2:1/n  每个时间段只通过一辆车,通过辆车的概率为P。通过K 辆车,意味着K个时间段有车通过。

所以车流量为K 的概率:

6 正态标准化和分布函数原理

大X Y是随机变量,不是普通的代数变量,将x=什么y 代入后 并不符合正态分布,

倒数第二步指数的分母应该是平方

分布函数法解决的问题:

7 关于独立同分布

独立同分布(Independent and Identically Distributed,简称IID)是指一组随机变量在统计上是相互独立的,并且每个随机变量都遵循相同的概率分布。这个概念是概率论和统计学中非常重要的概念,在深度学习中也被广泛使用。

具体来说,如果一组随机变量 X1, X2, ..., Xn 满足以下条件:

  1. 它们是相互独立的,即对于所有 i ≠ j,有 P(Xi=x, Xj=y) = P(Xi=x)P(Xj=y),其中 x,y 表示 X 和 Y 的取值。

  2. 它们具有相同的概率分布,即对于所有 i=1,2,...,n,X_i ~ P(X),其中 P(X) 是一个已知的概率分布。

那么我们称 X1, X2, ..., Xn 是独立同分布的。简而言之,就是这些随机变量之间相互独立,且它们的分布函数相同。

8 极大似然函数

极大似然估计(Maximum Likelihood Estimation,MLE)是一种常用的参数估计方法,用于通过观测数据找到最可能的参数值。在进行极大似然估计时,通常会使用极大似然函数。

极大似然函数(Maximum Likelihood Function)是一个关于模型参数的函数,它描述了观测数据的概率与参数之间的关系。具体地,极大似然函数是参数的函数,通过将观测数据带入到概率密度函数(或概率质量函数)中,得到观测数据出现的概率,并将其最大化。

数学上,极大似然函数可以表示为:

L(θ) = f(x₁; θ) * f(x₂; θ) * ... * f(xₙ; θ)

其中,L(θ)是极大似然函数,θ是待估计的参数,x₁, x₂, ..., xₙ是观测数据,f是概率密度函数(或概率质量函数)。

极大似然估计的目标是找到使得观测数据出现的概率最大的参数值,即找到使得极大似然函数取得最大值的参数值。通常,我们会取对数,即得到对数似然函数(Log-Likelihood Function),然后通过最大化对数似然函数来估计参数的值。这是因为对数函数的性质更易于计算和优化。

极大似然估计是一种常用的参数估计方法,它在统计学、机器学习等领域有广泛应用。它的核心思想是通过最大化观测数据出现的概率来找到最可能的参数值,从而得到对参数的估计。