概率统计

0 内容提要 本文覆盖概率与计算第二版Chap1-4，9的内容。 这5章内容比较基础，涉及： 理论 概率的基本概念 交、并、贝叶斯、全概率计算公式 期望、方差、中位数等数字特征 Jensen不等式、M

本章研究球放入箱子的过程，一个是从随机视角切入的，另一个是从计数视角切入的。 随机视角 模型概述 $m$个球扔进$n$个盒子，每个球进入等可能独立地扔进任何一个盒子。

概率方法 对应Chapter 6的内容。这一章主要是通过概率的技术分析优化问题的可解性和performance gurantees。 一般思路是在决策空间上设计一个随机算法，然后利用概率或期望分析得到

基本概念 随机过程$X(t)$是随机变量的集合。根据$t$的取值和$X$的取值特点，可以分为离散时间、连续时间、离散状态、连续状态 马尔科夫性（MP）：$Pr[X_t|X_{t-1}, X_{t-2}

蒙特卡洛 基本思想 构造一个采样方式，使得对某个统计量的估计恰好是要求的结果。 $(\epsilon, \delta)$近似：对V的估计满足$\Pr[|X-V|\le \epsilon V]\ge 1

preliminaries 指数分布 定义 $F(x) = 1 - e^{-\theta x}$ or $f(x)=\theta e^{-\theta x}$ 如何理解：考虑一个时间长度，它的分布如果

这玩意也太复杂了。。。 定义 给定随机变量序列序列$X_i$，构造一个新的随机变量序列$Z_n$，满足$Z_n$是$X_1,...X_n$的函数，且$Z_n$有界，并且$E[Z_{n+1}|X_0,

VC维这块我参考了一个博客，写得很好，一下子就理解了，这里放上出处，自己只是简要即几个要点放在这里备查。https://zhuanlan.zhihu.com/p/59113933 1 Machine

充分统计量 定义：对于一个分布族${P_\theta: \theta \in |\Theta}$，样本$x_1,...,x_n$。如果统计量$t$可以让分布$F(x_1,...,x_n|t)$与$\t

估计 点估计 频率替换与矩估计 这个很简单，就是用$\sum_i x_i^k$来估计k阶矩，然后期望和方差可以用矩来表示。从而计算。 问题是没有利用分布信息。 MLE 利用似然函数（联合概率关于参数的