小知识，大挑战！本文正在参与“程序员必备小知识”创作活动。

前言

Hello！小伙伴！

非常感谢您阅读海轰的文章，倘若文中有错误的地方，欢迎您指出～

 

自我介绍 ଘ(੭ˊᵕˋ)੭

昵称：海轰

标签：程序猿｜C++选手｜学生

简介：因C语言结识编程，随后转入计算机专业，有幸拿过一些国奖、省奖...已保研。目前正在学习C++/Linux/Python

学习经验：扎实基础 + 多做笔记 + 多敲代码 + 多思考 + 学好英语！

 

机器学习小白阶段

文章仅作为自己的学习笔记 用于知识体系建立以及复习

知其然 知其所以然！

若查看数学公式不全或显示错误

5.1 向量的内积、长度及正交性

定义1

内积

设有$n$维向量

令

$[x,y]$称为向量$x$与$y$的内积

---

内积是两个向量之间的一种运算，其结果是一个实数，用矩阵符号表示，当$x$和$y$都是列向量时，有

$[x,y]=x^Ty$

内积具有的性质：（$x,y,z$为$n$维向量，$\lambda$为实数）

• $[x,y] = [y, x]$
• $[ \lambda x,y]=\lambda[x,y]$
• $[x+y,z] = [x, z] + [y,z]$
• 当$x=0$时，$[x,x]=0$；当$x\neq0$时，$[x,x]>0$

施瓦茨不等式

$[x,y]^2 \leq[x,x][y,y]$

定义2

向量长度、单位向量

令

$||x||=\sqrt{[x,x]}=\sqrt{x_1^2+x_2^2+....+x_n^2}$

$||x||$称为$n$维向量$x$的长度（或范数）

当$||x||=1$时，称$x$为单位向量

---

向量的长度具有的性质：

• 非负性： 当$x\neq0$时，$||x||>0$；当$x=0$时，$||x||=0$
• 齐次性： $||\lambda x||=|\lambda|||x||$
• 三角不等式： $||x+y|| \leq||x||+||y||$

证明三角不等式： $||x+y|| \leq||x||+||y||$

$\quad||x+y||^2=[x+y,x+y]$

$=[x+y,x]+[x+y,y]$

$=([x,x]+[x,y])+([x,y]+[y,y])$

$=[x,x]+2[x,y]+[y,y]$

借助$[x+y,z] = [x, z] + [y,z]$进行变形

由施瓦茨不等式

$[x,y]^2 \leq[x,x][y,y]$

得

$[x,y]\leq \sqrt{[x,x][y,y]}$

从而

$\quad||x+y||^2=[x,x]+2[x,y]+[y,y]\leq[x,x]+2\sqrt{[x,x][y,y]}+[y,y]$

$=||x||^2+2\sqrt{[x,x][y,y]}+||y||^2$

$=(||x||+||y||)^2$

即

$||x+y||^2\leq(||x||+||y||)^2$

开平方得

$||x+y|| \leq||x||+||y||$

Ps:$x^2\leq y^2 \Rightarrow |x| \leq |y| \Rightarrow -y \leq x \leq y$

证明完成！

向量的夹角

由施瓦茨不等式 $[x,y]^2 \leq[x,x][y,y]$

得

$[x,y]\leq \sqrt{[x,x][y,y]}=\sqrt{[x,x]} \sqrt{[y,y]}=||x||\,||y||$

[x,y]可以为正，也可以为负，也可以为0

也可以写为

$|[x,y]|\leq ||x||\,||y||$

不等式两边同时除以$||x||\,||y||$，得

$|\frac{[x,y]}{||x||\,||y||}| \leq 1 \quad(||x||\,||y||\neq0时)$

然后我们定义$\theta$为$n$维向量$x$与$y$的夹角，其中$\theta$定义为：

$\theta=arccos\frac{[x,y]}{||x||\,||y||}$

正交

当$[x,y]=0$时，称向量$x$与$y$正交。

其中当$x=0$时，$x$与任何向量都正交

定理1

若$n$维向量$a_1,a_2,...,a_r$是一组两两正交的非零向量，则$a_1,a_2,...,a_r$线性无关

证明：

设有$\lambda_1,\lambda_2,...,\lambda_r$使

$\lambda_1a_1+\lambda_2a_2+....+\lambda_ra_r=0$

然后等式两边同时乘以$a_1^T$（左乘）

$a_i$一般情况是列向量 $\lambda_1a_1+\lambda_2a_2+....+\lambda_ra_r$结果也是一个列向量 所以 左乘时应该乘以一个行向量 $a_i^T$

$a_1^T(\lambda_1a_1+\lambda_2a_2+....+\lambda_ra_r)=a_1^T0=0$

$a_1^T\lambda_1a_1+a_1^T\lambda_2a_2+....+a_1^T\lambda_ra_r=0$

因为$a_1,a_2,...,a_r$是一组两两正交的非零向量

所以$a_1$与其他向量都正交

$a_1a_2=0,a_1a_3=0,....,a_1a_r=0$

得

$a_1^T\lambda_1a_1+a_1^T\lambda_2a_2+....+a_1^T\lambda_ra_r=a_1^T\lambda_1a_1+0+...+0=a_1^T\lambda_1a_1$

即

$a_1^T\lambda_1a_1=\lambda_1 a_1^Ta_1=0$

因为$a_1$是非零向量

所以

$a_1^Ta_1=[a_1,a_1]=||a_1||^2\neq0$

故

$\lambda_1=0$

同理可证

$\lambda_2,\lambda_2,...,\lambda_r=0$

由左乘$a_1^T$改为左乘$a_2^T,a_3^T....a_r^T$就可以证明其他$\lambda_i$

综上

$\lambda_1=\lambda_2=....=\lambda_r=0$

所以$a_1,a_2,...,a_r$线性无关

证明完成！

规范正交基

设$n$维向量$e_1,e_2,...,e_r$是向量空间$V(V \subset \mathbb{R}^n)$的一个基，如果$e_1,e_2,...,e_r$两两正交，且都是单位向量，则称$e_1,e_2,...,e_r$是$V$的一个规范正交基

规范正交基需要符合三个条件

• 首先得是向量空间的一个基
• 基中向量两两正交
• 基中所有向量都是单位向量

---

若$e_1,e_2,....,e_r$是$V$的一个规范正交基，那么$V$中任一向量$a$都可以由$e_1,e_2,....,e_r$线性表示，其表达式为：

$a=\lambda_1e_1+\lambda_2e_2+....+\lambda_re_r$

假设我们需要求其中的一个$\lambda_i(i=1,2,...,r)$

同定理1中的证明方式一样

还是等式的左右两边同时左乘$e_i^T$

$e_i^Ta=e_i^T(\lambda_1e_1+\lambda_2e_2+....+\lambda_re_r)$

因为$e_1,e_2,....,e_r$是$V$的一个规范正交基

所以$e_i^Te_j=0\,(i\neq j)$

除了$e_i^Te_i=0$外，其余都为0

得到

$e_i^Ta=e_i^T\lambda_ie_i=\lambda_ie_i^Te_i=\lambda_i$

$e_i$是单位向量，所以$e_i^Te_i=1$

即

$\lambda_i=e_i^Ta=[a,e_i]\quad([e_i,a]也可以)$

Ps: $e_i、a$都是列向量，$e_i^Ta$本质就是两个向量中对应元素两两相乘再累加，其实就是两个向量的内积 使用这个公式可以方便地求出向量的坐标 所以在给向量空间取基的时常常取规范正交基

施密特正交化

设$a_1,a_2,...,a_r$是向量空间$V$的一个基，若我们需要求$V$的一个规范正交基，也就是要找一组两两正交的单位向量$e_1,e_2,...,e_r$，使得$e_1,e_2,...,e_r$与$a_1,a_2,...,a_r$等价

从$a_1,a_2,...,a_r$到$e_1,e_2,...,e_r$称为对$a_1,a_2,...,a_r$这个基进行规范正交化

施密特正交化则是实现对一个向量空间中的一个基转换为一个规范正交基

具体方法过程如下：

假设我们需要将$a_1,a_2,...,a_r$进行规范正交化

令

$b_1=a_1$

$b_2=a_2-\frac{[b_1,a_2]}{[b_1,b_1]}b_1$

$.......$

$b_r=a_r-\frac{[b_1,a_r]}{[b_1,b_1]}b_1-\frac{[b_2,a_r]}{[b_2,b_2]}b_2-....-\frac{[b_{r-1},a_r]}{[b_{r-1},b_{r-1}]}b_{r-1}$

$b_1,b_2,....,b_3$两两正交

然后再对其分别单位化，得

$e_1=\frac{1}{||b_1||}b_1$

$e_2=\frac{1}{||b_2||}b_2$

$.....$

$e_r=\frac{1}{||b_r||}b_r$

$e_1,e_2,....,e_r$就是$V$中的一个规范正交基

正交阵

如果$n$阶矩阵$A$满足

$A^TA=E(即A^{-1}=A^T)$

那么称$A$为正交矩阵，简称正交阵

---

说明

$(a_i^Ta_j)=(\delta_{ij})$

其中

也就是说

只有$a_i^Ta_i=1$（$j=i时$），其余都为0

因为$a_i^Ta_i=1$，得到$a_i$为单位向量

$a_i^Ta_i=[a_i,a_i]=||a_i||^2=1$ 说明$||a_i||=1$ 所以$a_i$为单位向量

综上：方阵$A$为正交阵的充分必要条件是$A$的列向量都是单位向量，且两两正交

n阶正交阵A的n个列（行）向量构成向量空间$\mathbb{R}^n$的一个规范正交基

---

正交阵具有的一些性质：

• 若$A$为正交阵，则$A^{-1}=A^T$也是正交阵，且$|A|=1（或-1）$
• 若$A$和$B$都是正交阵，则$AB$也是正交阵

正交变换

若$P$为正交矩阵，则线性变换$y=Px$称为正交变换

---

设$y=Px$为正交变换，其中$P$为正交矩阵

$||y||=\sqrt{[y,y]}=\sqrt{y^Ty}=\sqrt{(Px)^T(Px)}=\sqrt{x^TP^TPx}=\sqrt{x^T(P^TP)x}=\sqrt{x^TEx}=\sqrt{x^Tx}=\sqrt{[x,x]}=||x||$

即

$||y||=||x||$

说明经过正交变换y的长度保持不变（正交变换的特性！）

举例

例1

已知3维向量空间$\mathbb{R}^3$中两个向量

正交，求一个非零向量$a_3$，使得$a_1,a_2,a_3$两两正交

解答：

设

方程$Ax=0$的解$x$其实就是$a_3$

$Aa_3=\begin{bmatrix} a_1^T\\ a_2^T \end{bmatrix}a_3=\begin{bmatrix} a_1^Ta_3\\ a_2^Ta_3 \end{bmatrix}=\begin{bmatrix} 0\\ 0 \end{bmatrix}$ 有 $a_1^Ta_3=0$ $a_2^Ta_3=0$ 即$a_3$与$a_1$和$a_2$正交

对$A$进行初等行变换，得到行最简矩阵

得到

移项得

令$x_3=c$

得到

所以$a_3$可以取$\begin{bmatrix} -1\\ 0\\ 1 \end{bmatrix}$，满足题目要求

例2

设$a_1=\begin{bmatrix} 1\\ 2\\ -1 \end{bmatrix},a_2=\begin{bmatrix} -1\\ 3\\ 1 \end{bmatrix},a_3=\begin{bmatrix} 4\\ -1\\ 0 \end{bmatrix}$，试用施密特正交化过程把这组向量规范正交化

解答：

取$b_1=a_1=\begin{bmatrix} 1\\ 2\\ -1 \end{bmatrix}$

$b_2=a_2-\frac{[b_1,a_2]}{[b_1,b_1]}b_1=\begin{bmatrix} -1\\ 3\\ 1 \end{bmatrix}-\frac{4}{6}\begin{bmatrix} 1\\ 2\\ -1 \end{bmatrix}=\frac{5}{3}\begin{bmatrix} -1\\ 1\\ 1 \end{bmatrix}$

$b_3=a_3-\frac{[b_1,a_3]}{[b_1,b_1]}b_1-\frac{[b_2,a_3]}{[b_2,b_2]}b_2=\begin{bmatrix} 4\\ -1\\ 0 \end{bmatrix}-\frac{1}{3}\begin{bmatrix} 1\\ 2\\ -1 \end{bmatrix}+\frac{5}{3}\begin{bmatrix} -1\\ 1\\ 1 \end{bmatrix}=2\begin{bmatrix} 1\\ 0\\ 1 \end{bmatrix}$

再对$b_1,b_2,b_3$进行单位化

$e_1=\frac{1}{||b_1||}b_1=\frac{1}{\sqrt{6}}\begin{bmatrix} 1\\ 2\\ -1 \end{bmatrix}$

$e_2=\frac{1}{||b_2||}b_2=\frac{1}{\sqrt{3}}\begin{bmatrix} -1\\ 1\\ 1 \end{bmatrix}$

$e_3=\frac{1}{||b_3||}b_3=\frac{1}{\sqrt{2}}\begin{bmatrix} 1\\ 0\\ 1 \end{bmatrix}$

$e_1,e_2,e_3$即为$a_1,a_2,a_3$规范正交化后的向量组

例3

已知$a_1=\begin{bmatrix} 1\\ 1\\ 1 \end{bmatrix}$，求一组非零向量$a_2,a_3$，使$a_1,a_2,a_3$两两正交

解答：

设

对方程$Ax=0$进行求解

得到

$x_1+x_2+x_3=0$

即

$x_1=-x_2-x_3$

令$x_2=c_1,x_3=c_2$

有

得到基础解系

此时$A\zeta_1=0、A\zeta_2=0$

但是并不满足$\zeta_1\zeta_2=0$（因为$a_1,a_2,a_3$要两两正交）

还需要再对$\zeta_1、\zeta_2$进行规范正交化（使用施密特正交化进行转换）

取

$a_2=\zeta_1=\begin{bmatrix} -1\\ 1\\ 0 \end{bmatrix}$

$a_3=\zeta_2-\frac{[\zeta_1,\zeta_2]}{[\zeta_1,\zeta_1]}\zeta_1=\begin{bmatrix} -1\\ 0\\ 1 \end{bmatrix}-\frac{1}{2}\begin{bmatrix} -1\\ 1\\ 0 \end{bmatrix}=\begin{bmatrix} -\frac{1}{2}\\ -\frac{1}{2}\\ 1 \end{bmatrix}=\frac{1}{2}\begin{bmatrix} -1\\ -1\\ 2 \end{bmatrix}$

综上：

答案并不惟一

结语

说明：

• 参考于 课本《线性代数》第五版 同济大学数学系编
• 配合书中概念讲解 结合了自己的一些理解及思考

文章仅作为学习笔记，记录从0到1的一个过程

希望对您有所帮助，如有错误欢迎小伙伴指正～

我是 海轰ଘ(੭ˊᵕˋ)੭

如果您觉得写得可以的话，请点个赞吧

谢谢支持 ❤️