十年剑

本文整理一些与极限和连续有关的概念和定理。 1 实数线的拓扑 我们先从探讨“距离”的概念出发。我们知道对于$x,y\in R$，可以定义一个非负的Euclidean distance$|x-y|$。通

本文旨在整理一些集合论中的基础概念与定理，主要出处见参考文献。 本文只列出特别简单的证明，略去复杂的证明。 1 集合论基础 首先，我们介绍Cartesian product（笛卡尔积、直积）$A\ti

1 总体的$k$-因子模型 1.1 模型设定 $x\sim(\mu,\Sigma)$，$\text{rank}(\Sigma)=r$，固定$k\lt r$，则$k$因子模型的设定为 $$ x=Af+\

本文主要介绍总体及样本的主成分的概念，如何可视化，以及一些最基本的性质。 1 总体的主成分 考虑$x\sim (\mu,\Sigma)$，其中$\Sigma$可分解为$\Sigma=\Gamma\La

本文对连续时间下的资产定价模型进行介绍，并推导主要结论。 1 价格过程 在连续时间下，我们假设一项资产的收益率为： $$ \dfrac{dp_t}{p_t}+\dfrac{D_t}{p_t}dt $$

接触过资产定价的同学可能知道，资产定价有一个核心公式$p=\text{E}(mx)$，它的内涵十分丰富。本文将从Consumption-based model出发，详解该公式的由来，并以它为视角，介绍

有了《独立同分布的大样本OLS回归》的铺垫，现在进一步将OLS推广到平稳时间序列的情况。 构造统计量，在大样本下推导其渐近分布，并进行假设检验。 这里的各种计算与上一篇非常像，需要注意的是大数定律和中心极限定理在这里的使用条件（遍历平稳、鞅差分过程等）与上一篇不同，因此也需要不…

本文将把OLS回归，从小样本推广到大样本的情形。关于小样本OLS回归，可见《小样本OLS回归的框架》和《小样本OLS回归梳理》。 构造统计量，在大样本下推导其渐近分布，并进行假设检验。 本文考虑大样本情形中最简单的情况：独立同分布的随机样本。 由于可能会考虑到时间序列的情形，因…

上一篇《小样本OLS回归的框架》讲解了小样本OLS回归的主要框架，本文沿着该框架，对小样本OLS回归做一个全面的梳理。 这里先将所有的小样本OLS回归中可能用到的假设放到一起，方便浏览。当然，后面的每一个结论并不是要用到所有的假设，而是只用到某几个假设，这在后面讲每个结论时会具…

不管是学习机器学习、计量经济学、数理统计，很多人接触到的第一个算法就是最小二乘法（least squares method）。 这是一个非常古老的方法。早在18世纪早期，在天文学和航海领域就已经出现了最小二乘法的思想。真正意义上第一个正式发表该方法是在1806年的法国科学家Le…

一般来说，计量经济学教材会从线性回归讲起，但这里再在线性回归之前，理一理更一般性的回归问题。 最好的预测函数的形式是什么？以下定理表明，最好的预测函数，恰恰就是回归函数即条件期望。 在该定理中，直接求解最值问题比较复杂，需要用到变分法，用构造法证明该定理比较简单，直接对$\te…

整个课程中，“3”这个数字贯穿始终。比如在介绍机器学习时，介绍了它和3个相关领域（数据挖掘、人工智能、统计学）的区别与联系： 以下是每一节课的回顾。

本系列是台湾大学资讯工程系林軒田（Hsuan-Tien Lin）教授开设的《机器学习基石》课程的梳理。重在梳理，而非详细的笔记，因此可能会略去一些细节。 本文是第3部分，对应原课程中的9-12讲。 特征的非线性变换，以及该如何控制变换后的复杂度。 在第一部分中讲过机器学习的分类…

本系列是台湾大学资讯工程系林軒田（Hsuan-Tien Lin）教授开设的《机器学习基石》课程的梳理。重在梳理，而非详细的笔记，因此可能会略去一些细节。 本文是第4部分，对应原课程中的13-16讲。 三个学习原则，即奥卡姆剃刀、抽样偏差和数据窥探。 这样做可使$E\text{i…

本系列是台湾大学资讯工程系林軒田（Hsuan-Tien Lin）教授开设的《机器学习基石》课程的梳理。重在梳理，而非详细的笔记，因此可能会略去一些细节。 本文是第2部分，对应原课程中的4-8讲。 介绍误差的度量，以及对误差权重不同的情况的处理方法。 因此，选择不同的规则，你会获…

本系列是台湾大学资讯工程系林軒田（Hsuan-Tien Lin）教授开设的《机器学习基石》课程的梳理。重在梳理，而非详细的笔记，因此可能会略去一些细节。 本文是第1部分，对应原课程中的1-3讲。虽然第4讲在原课程中也放入了第1部分，但我认为它与后面第2部分的连贯性更强，因此移到…