线性代数与数据学习:MIT教授Gilbert Strang帮你打下坚实的数学基础

3,008 阅读2分钟

机器之心编辑,作者:思源、刘晓坤。

MIT 教授 Gilbert Strang 最新书籍《线性代数与数据学习》(Linear Algebra and Learning from Data)将在 1 月中旬发行。这一本书为机器学习提供了很多数学基础,它同时也提供了深度学习一些基本概念。可以说借助这本书,我们能从数学的角度来理解流行的模型。

书籍主页:math.mit.edu/~gs/learnin…

这本书的目的是解释数据科学和机器学习所依赖的数学:线性代数最优化、概率论和统计学。因为在机器学习中,学习函数中的权重会以矩阵形式表示,这些权重通过随机梯度下降优化,而「随机」一词提示训练收敛是概率性的。此外,概率论中的大数定律被扩展到了大函数定律:如果架构设计良好并且参数计算良好,则有很高的概率能成功收敛。

请注意这不是一本关于计算或编码或软件的书。已经有很多书籍对这些方面做了很好的介绍,比如《Hands-On Machine Learning》;还有很多 TensorFlow、Keras、MathWorks 和 Caffe 等的在线资源,也能提供很多帮助。

线性代数有众多美妙的矩阵变体:对称矩阵、正交矩阵、三角矩阵、Banded 矩阵、转置矩阵和正定矩阵等等。在 Gilbert 的教学经验中,他认为正定对称矩阵 S 是非常美妙的东西。它们有正的特征值λ和正交的特征向量 q,它们的线性组合可以将秩为 1 的简单映射 qq^T 与对应特征值重构为正定矩阵 S,即:

如果 λ_1>=λ_2>=...,那么上式特征值λ_1 以及对应的特征向量组成的第一个分量就是 S 最具信息的部分。对于一个简单的协方差矩阵,这一部分就对应着对大的方差,这也是降维算法 PCA 最核心的思想。

此外,在书籍主页中,作者还提供了试读的样章,包括深度学习、书籍前言、目录、矩阵初等变换、矩阵乘法和其它一些从矩阵看卷积网络等新知识。作者表明书籍主页会持续更新,包括印刷计划和全本开放阅读等。

William Gilbert Strang

William Gilbert Strang,美国数学家,在有限元理论、变分法、小波分析和线性代数等方面皆有研究贡献。他对数学教育做出了许多贡献,包括出版七本数学教科书和专著。斯特朗现任麻省理工学院数学系 MathWorks 讲座教授。主要讲授课程为线性代数入门(Introduction to Linear Algebra,18.06)和计算科学与工程(Computational Science and Engineering,18.085),这些课程都可在麻省理工学院开放式课程中免费学习。

以下是这本书的目录: