机器学习数学基础四:随机变量和概率论基础

590 阅读6分钟

一起养成写作习惯!这是我参与「掘金日新计划 · 4 月更文挑战」的第10天,点击查看活动详情

目录

一,连续与离散随机变量

1,离散型随机变量

2,连续型随机变量

 3,简单随机抽样

 4,似然函数

5,极大似然估计

 例子:

 二,概率论基础

1,概率论是干什么的?

2,随机事件是什么?

3,概率与频率

4,古典概型

 5,条件概率

 6,独立性

 7,独立试验

 8,二维随机变量

 1)二维离散型随机变量

 2)二维连续型随机变量

 例子:

 9,边缘分布

 1)离散型随机变量边缘分布

 2)连续型随机变量边缘分布

 例子:

 10,期望

 11,期望求解

 例子:

 12,数学期望的性质

 13,方差

大数定理:

14,马尔科夫不等式

 15,切比雪夫不等式

 例子:

 中心极限定理:

 16,后验概率估计


一,连续与离散随机变量

离散型随机变量:一个一个的(有限多个)十分明确的分类

连续型随机变量:无法直观观察数据,无法明确分类

1,离散型随机变量

能明确得到每种情况下对应得概率值,且所有情况的概率值一加等于一。

2,连续型随机变量

概率密度:对于连续型随机变量X,我们不能给出其取每一 个值的概率也就是画不出那个分布表,这里我们选择使用密度来表示其概率分布!

 3,简单随机抽样

抽取的样本满足两点:

样本x1,x2.。。。xn是相互独立的随机变量

样本x1,x2.。。。xn与总体同分布

 4,似然函数

 不管是离散型还是连续型,似然函数是一样的,概率表达了在给定参数a时X=x的可能性,而似然函数表示的是在给定样本X=x时参数的可能性。

5,极大似然估计

 首先我有一个数据集,极大似然估计要做的就是找出一个参数,使得在这个参数使用时,数据集出现的概率最大。

 并不是求参数的最大值,而是求概率的最大值。

极大似然估计求解

 例子:

 

 二,概率论基础

1,概率论是干什么的?

研究随机现象数量规矩的数学分支

2,随机事件是什么?

1)可以在相同条件下重复执行

2)事先就能知道可能出现的结果

3)试验开始前并不知道这一次的结果

随机试验E的所有结果构成的集合称为E的样本空间S

3,概率与频率

 当试验足够多的时候,频率的稳定值就是概率

以抛硬币为例: 

4,古典概型

定义:

实验E中样本点是有限的,出现每一样本点的概率是相同的。

 5,条件概率

 

 

 6,独立性

 7,独立试验

 

 8,二维随机变量

 

 1)二维离散型随机变量

 2)二维连续型随机变量

 例子:

 9,边缘分布

 

 1)离散型随机变量边缘分布

 2)连续型随机变量边缘分布

 例子:

 10,期望

 

 11,期望求解

 例子:

 12,数学期望的性质

 13,方差

数学期望反映了随机变量的取值水平,衡量随机变量相对于数学期望的分散程度则的另一一个数字特征。

大数定理:

在试验不变的条件下,重复实验多次,随机事件的频率近似于它的概率。

14,马尔科夫不等式

 15,切比雪夫不等式

 

 例子:

 中心极限定理:

 16,后验概率估计

 

 以上大部分图片来自于:

985+211浙大强推(全129讲)【机器学习-数学基础课程】绝对通俗易懂!学不会来打我(人工智能/AI/深度学习/机器学习入门/微积分/概率论)_哔哩哔哩_bilibili

\