千里路

本文用Python模拟随机漫步行为。 random模块每次只能生成一个样本值，效率很低。如果要生成大量样本值，可用numpy.random模块。 注意，random.randint(a,b)函数生成的是$[a,b]$之间的整数，而numpy.random.randint(a,b…

在使用NumPy数组时，有一个要注意的地方：在取数组的切片时，取出来的切片（Slices）仅仅是原始数组的视图（Views），而非它的复制！这与Python的built-in的list不同。 可以看到，原始数组的值也发生了改变。 由于arr_slice_copy是原始数组的复制…

一般来说，计量经济学教材会从线性回归讲起，但这里再在线性回归之前，理一理更一般性的回归问题。 最好的预测函数的形式是什么？以下定理表明，最好的预测函数，恰恰就是回归函数即条件期望。 在该定理中，直接求解最值问题比较复杂，需要用到变分法，用构造法证明该定理比较简单，直接对$\te…

贝叶斯方法与Ridge回归有什么联系？废话少说，我们直接来看。 为了方便说明问题，考虑一维的自变量，将一系列自变量排成向量的形式：$\mathbf{x}=(x_1,\cdots,x_N)^T$，对应的目标函数为$\mathbf{t}=(t_1,\cdots,t_N)^T$。 最…

假设样本空间$\mathcal{X}$和假设空间$\mathcal{H}$都是离散的，令$P(h|X,\mathcal{L}_a)$为算法$\mathcal{L}_a$基于训练数据$X$产生假设$h$的概率，令$f$代表真实目标函数。考查二分类问题，$f$可以是任何函数$\ma…