这玩意也太复杂了。。。

定义

给定随机变量序列序列$X_i$，构造一个新的随机变量序列$Z_n$，满足$Z_n$是$X_1,...X_n$的函数，且$Z_n$有界，并且$E[Z_{n+1}|X_0, ..., X_n]=Z_n$，那$Z$序列是关于$X$序列的一个鞅。

eg：赌博问题，每一轮以1/2的概率赢的或输掉1元，设$Z_n$表示前$n$轮总的赢钱数，那么$Z$是一个鞅。

• 杜步鞅：$Y$是一个一般依赖于$X_1, ..., X_n$的随机变量，而$Z_i=E[Y|X_0, ..., X_i]$。并且要求$E[|Y|]$有界。

为啥是一个鞅呢。因为要求有界了，所以前面的两个条件都能满足，关键是最后那个条件。$E[Z_{i+1}|X_0, ..., X_i]=E[E[Y|X_0, ..., X_{i+1}]|X_0, ..., X_i]=E[Y|X_0, ..., X_i]=Z_i$得证。

这个的直觉在于，设置了一个$Y$作为对全局的估计，然后$X$这个序列一步步增加我们知道的信息，$Z$就是随着每一步知道的信息增加我们得到的新的条件期望。这构成了一个鞅。

eg 暴露鞅。假设对一个图，一开始我们什么都不知道，我们设$Y$是独立集的期望。那这个图最多有$C_n^2$条边，然后$X_i$表示第i条可能的边有没有连边。那随着$X_i$序列的进行，我们的估计$Z_i=E[Y|X_0,...,X_i]$也不断产生，这就形成了一个杜步鞅。

鞅的性质引理

如果$Z_i$是关于$X_i$的一个鞅，那么$E[Z_n]=E[Z_0]$

证明: $E[Z_i]=E[E[Z_{i+1}|X_0,...,X_i]]=E[Z_{i+1}]$，归纳可证。

鞅停时定理

停时

什么是停时？一个随机变量$T$。他满足$T=n$的概率与变量${Z_{n+j}|Z_1, ..., Z_n, \forall j \ge 1}$无关。

直观理解就是，T是某个时刻，这个时刻满足的条件，仅仅依赖于该时刻之前的事件。比如，在赌博问题中，首次连续赢5次时游戏进行的轮次就是一个停时。因为它只依赖于这之前的事件中，与之相邻的5次都赢，而再之前的事件不能出现5次全赢即可，和后面的时间无关。

此外，停时的定义是独立于鞅而存在的。

停时定理

如果T是停时，那么$E[Z_T]=E[Z_0]$只需满足如下三条件之一：1）$Z_i$有界。2）T有界。3）$E[T]$有界且$E[|Z_{i+1}-Z_i||X_1,...,X_i]$有界

这里看起来很奇怪，明明在前面鞅的性质引理已经证明了，似乎仅仅按照定义就可以推出任何$E[Z_i]=E[Z_0]$了，为啥停时还需要满足额外的条件呢？原因在于停时本身可能过于苛刻，导致很不容易出现，如果T是无限的，那这会动摇我们证明引理时归纳的根基。所以才会有上面的三条件。

eg1 重新分析赌徒破产问题的概率

设停时T为首次赢得$l_1$元或首次输掉$l_2$元的概率。构造鞅$Z_i$为前i轮的赢利。那么显然$Z$是有界的，可以利用停时定理。$E[Z_T]=E[Z_0]=0$。那么在停时有两种情况，一种是赢了（设概率为p），一种是输了（概率为1-p），因此$E[Z_T]=pl_1 - (1-p)l_2=0$，可以求出获胜概率为$p=\frac{l_2}{l_1+l_2}$

eg2 选举定理

假设两个人参加选举，总共有n=a+b个人投票，投给A的人有a个，B有b票。假设a大于b。投票的人是均匀分布的，那么A始终保持领先的概率是多少？

设$S_k$表示前k个人投票完成后，A的领先票数。对于这个序列，构造一个鞅$Z_k=\frac{S_{n-k}}{n-k} (0\le k \le n-1)$。可以看到我这个鞅是倒序构造的。

先证明他真的是一个鞅，这里证明他是关于自身的鞅，而不是关于S的鞅，很明显$Z_k$有界，接下来证$E[Z_k|Z_0, ..., Z_{k-1}]$, 即$E[\frac{S_{n-k}}{n-k}|Z_0, Z_1,..,Z_{k-1}]$。

因为Z和S之间的关系是完全确定的，所以$E[\frac{S_{n-k}}{n-k}|Z_0, Z_1,..,Z_{k-1}]=E[\frac{S_{n-k}}{n-k}|S_n, ..., S_{n-k+1}]=E[\frac{S_{n-k}}{n-k}|S_{n-k+1}]$

那么$S_{n-k+1}$怎么推$S_{n-k}$呢，这里反人类的地方在于鞅的构造是倒序的。所以不能考虑第n-k+1个人投票引发的数量变化。应该这样考虑，经过第$n-k+1$轮后，总共出现了n-k+1张票，投给A的票-投给B的票数量为$S_{n-k+1}$，因此在第$n-k+1$轮后A和B的票分别为$(n-k+1+S_{n-k+1})/2$和$(n-k+1-S_{n-k+1})/2$。而因为每一轮投票都是等概率的，所以在这些票中，刚好是上一次投出来的概率也是按照比例分配的，因此第n-k+1个人投票的投给A的概率是$(n-k+1+S_{n-k+1})/(2(n-k+1))$。类似可以计算投给B的概率。然后可以得到

接下来考虑停时T为首次A被B追平的时刻。如果A始终领先，那么T为n-1。显然T有界，可以用停时定理$E[X_T]=E[X_0]=E[S_n]/n=(a-b)/(a+b)$。

既然要计算始终保持领先的概率，那得想办法让$E[X_T]$和概率发生关系。因此分析期望的计算过程。

如果A始终领先，那概率p就是我们希望的，在这种情况下$T=n-1$的，因此$X_T=S_1=1$。在其他不是始终领先的情况（概率为1-p）。那么根据T的定义$X_T=0$。因此$E[X_T]=p*1+(1-p)0=(a-b)/(a+b)$。所以始终保持领先的概率为$(a-b)/(a+b)$

Remark

从上面的两个例子可以看出，停时定理的应用主要是想办法构造一个鞅，使得我们感兴趣的事件刚好可以成为我们构造的鞅的一个停时（并且往往需要满足停时定理的应用条件）。在此基础上，可以快速得到期望，再配合对时间得分析从概率入手计算这个期望，得到一个关于概率的方程，从而求解概率。不过也可以看到，构造一个合适的鞅也太复杂了。尤其是eg2，反向然后关于自身是鞅这怎么可能想的出来。。。

Wald等式

设$X_1,...$是一系列独立同分布的随机变量，并且T是这个序列的一个停时。如果T和X存在有限期望，那么$E[\sum_{i=1}^T X_i]=E[T]E[X]$

证明：构造一个关于X的鞅$Z_i=\sum_{j=1}^i (X_j-E[X])$。为啥是鞅就不再证了
因为$E[T]$有界并且$E[|Z_{i+1}-Z_i||X_1,...,X_i]=E[|X_{i+1}-E[X]|X_1,...,X_i]=E[|X_{i+1}-E[X]|]\le 2E[X]$有界，所以满足停时定理条件3
因此$E[Z_T]=E[Z_1]=0$。
把$E[Z_T]$展开写，重新整理可以得证。

eg 随机数量骰子求和

先扔一枚骰子，设点数为N，再扔N枚骰子，后面这N枚求和的期望是多少。

设停时T为N，很明显T只和第一枚骰子相关。因此是一个停时。所以$E[\sum_{i=1}^N X_i]=E[N]E[X]=49/4$

尾部不等式

Azuma-Hoeffding不等式

和前面的证明很类似，利用了指数的下凸性。

设$Z_0,..,Z_n$是一个鞅，满足$|Z_k-Z_{k-1}|\le c_k$，那么$\forall t\ge 1, \lambda > 0$，有$\Pr[|X_t-X_0|\ge \lambda]\le 2e^{\lambda^2/(2\sum_{k=1}^t c_k^2)}$

更近的bound同时利用了下界。即设$Z_0,..,Z_n$是一个鞅，满足$B_k \le |Z_k-Z_{k-1}|\le B_k+d_k$，那么有$\Pr[|X_t-X_0|\ge \lambda]\le 2e^{-2\lambda^2/(2\sum_{k=1}^t d_k^2)}$

McDiarmid不等式

$\Pr[|f(X_1,...,X_n)-E[f(X_1,...,X_n)]|\ge \lambda]\le 2e^{-2\lambda^2/(nc^2)}$,

其中$X_1,...X_n$是一系列独立的随机变量，而f满足c-李比希茨条件。即固定其他变量，只变化一个变量，函数值的变化幅度不超过c。