线性代数 - 基础知识「这是我参与2022首次更文挑战的第1天，活动详情查看：2022首次更文挑战」。 title: 线

「这是我参与2022首次更文挑战的第1天，活动详情查看：2022首次更文挑战」。

title: 线性代数 - 1 - 基础知识 date: 2021-02-27 21:30:29 tags: [Linear_Algebra] categories: [Linear_Algebra] mathjax: true

线性代数，基础知识，温故知新。

定义

向量：

向量默认为列向量：

{% raw %}

\overrightarrow{\mathbf{x}}=\left(x_{1}, x_{2}, \cdots, x_{n}\right)^{T}=\left[\begin{array}{c} x_{1} \\ x_{2} \\ \vdots \\ x_{n} \end{array}\right]

{% endraw %}

矩阵 $\mathbf{X} \in \mathbb{R}^{m \times n}$ ，表示为：

{% raw %}

\mathbf{X}=\left[\begin{array}{cccc} x_{1,1} & x_{1,2} & \cdots & x_{1, n} \\ x_{2,1} & x_{2,2} & \cdots & x_{2, n} \\ \vdots & \vdots & \ddots & \vdots \\ x_{m, 1} & x_{m, 2} & \cdots & x_{m, n} \end{array}\right]

{% endraw %}

范数

向量范数

1-范数

各个元素的绝对值之和

{% raw %}

\|X\|_{1}=\sum_{i=1}^{n}\left|x_{i}\right|

{% endraw %}

2-范数

每个元素的平方和再开平方根

{% raw %}

\|X\|_{2}=\left(\sum_{i=1}^{n} x_{i}^{2}\right)^{\frac{1}{2}}=\sqrt{\sum_{i=1}^{n} x_{i}^{2}}

{% endraw %}

p-范数

{% raw %}

\|X\|_{p}=\left(\sum_{i=1}^{n}\left|x_{i}\right|^{p}\right)^{\frac{1}{p}}

{% endraw %}

其中正整数p≥1，并且有{% raw %} $\lim _{p \rightarrow \infty}\|X\|_{p}=\max _{1 \leq i \leq n}\left|x_{i}\right|$ .{% endraw %}

无穷范数

{% raw %}

\|X\|_{\infty}=\max _ { 1 < i< n}\left|x_{i}\right |

{% endraw %}

为向量中绝对值最大的元素的值。

矩阵范数

1-范数（列模）

矩阵的每一列上的元素绝对值先求和，再从中取个最大的，（列和最大） {% raw %}

\|A\|_{1}=\max _{1 \leq j \leq n} \sum_{i=1}^{n} \mid a_{i j}\mid

{% endraw %}

2-范数（谱模）：

最大特征值开平方根： {% raw %}

\mid\mid A \|_{2}=\sqrt{\lambda_{\max }\left(A^{T} A\right)}=\sqrt{\max _{1 \leq i \leq n}\left|\lambda_{i}\right|}

{% endraw %}

无穷范数（行模）：

矩阵的每一行上的元素绝对值先求和，再从中取个最大的，（行和最大）

{% raw %}

\|A\|_{\infty}=\max _{1 \leq i \leq n} \sum_{j=1}^{n} \mid a_{i j}\mid

{% endraw %}

L0范数：

矩阵的非0元素的个数，通常用它来表示稀疏，L0范数越小0元素越多，也就越稀疏

L1范数：

矩阵中的每个元素绝对值之和，它是L0范数的最优凸近似，因此它也可以近似表示稀疏

F范数：

矩阵的各个元素平方之和再开平方根，它通常也叫做矩阵的L2范数，它的优点在它是一个凸函数，可以求导求解，易于计算

{% raw %}

\|\mathbf{A}\|_{F}=\sqrt{\sum_{i, j} a_{i, j}^{2}}

{% endraw %}

行列式

方阵 $A$ 的行列式，记作 $det(A)$ 或 $|A|$ ：

{% raw %}

D=\left|\begin{array}{llll} a_{11} & a_{12} & \cdots & a_{1 n} \\ a_{21} & a_{22} & \cdots & a_{2 n} \\ \cdots & \cdots & \cdots & \cdots \\ a_{n 1} & a_{n 2} & \cdots & a_{n n} \end{array}\right|

{% endraw %}

计算公式：

D=\sum (- 1) ^ {k } a_{1 k_{ 1} } a_{2 k_{2} } \cdots a_ { n k _ { n} }

表示的是 $n$ 个 $n$ 维向量构成的n维平行多面体的体积，该体积有正负，若存在线性相关的向量，行列式为0
行列式 $A$ 中某行(或列)用同一数 $k$ 乘,其结果等于 $kA$
行列式 $A$ 等于其转置行列式 $A^T$ ( $A^T$ 的第i行为 $A$ 的第 $i$ 列)
行列式 $A$ 中两行（或列）互换,其结果等于 $-A$
把行列式 $A$ 的某行（或列）中各元同乘一数后加到另一行（或列）中各对应元上，结果仍然是 $A$

方阵的迹

方阵 $\mathbf{A}=\left(a_{i, j}\right)_{n \times n}$ 的迹，记作 $\operatorname{tr}(\mathbf{A})$ ，对角线元素之和，也等于特征值的和：

{% raw %}

\operatorname{tr}(\mathbf{A})=\sum_{i} a_{i, i}

{% endraw %}

向量积

点积（Dot Product）

对应元素乘积和，结果不是一个向量，而是一个标量（Scalar）

{% raw %}

{\bf{A} } \cdot {\bf{B} } = \sum\limits_i { {a_i}{b_i} } = \left| A \right|\left| B \right|Cos\left( \theta \right)

{% endraw %}

叉乘（cross product）

三维向量的叉积：

用三阶行列式表示

{% raw %}

\overrightarrow{\mathbf{u}}=u_{x} \overrightarrow{\mathbf{i}}+u_{y} \overrightarrow{\mathbf{j}}+u_{z} \overrightarrow{\mathbf{k}}, \quad \overrightarrow{\mathbf{v}}=v_{x} \overrightarrow{\mathbf{i}}+v_{y} \overrightarrow{\mathbf{j}}+v_{z} \overrightarrow{\mathbf{k}}

{% endraw %}

其中 $\overrightarrow{\mathbf{i}}, \overrightarrow{\mathbf{j}}, \overrightarrow{\mathbf{k}}$ 分别为 $x, y, z$ 轴的单位向量。

{% raw %}

\overrightarrow{\mathbf{w}}=\overrightarrow{\mathbf{u}} \times \overrightarrow{\mathbf{v}}=\left[\begin{array}{ccc} \overrightarrow{\mathbf{i}} & \overrightarrow{\mathbf{j}} & \overrightarrow{\mathbf{k}} \\ u_{x} & u_{y} & u_{z} \\ v_{x} & v_{y} & v_{z} \end{array}\right]

{% endraw %}

$\overrightarrow{\mathbf{u}}, \overrightarrow{\mathbf{v}}$ 的叉积垂直于 $\overrightarrow{\mathbf{u}}, \overrightarrow{\mathbf{v}}$ 构成的平面，其方向符合右手规则
叉积的模等于 $\overrightarrow{\mathbf{u}}, \overrightarrow{\mathbf{v}}$ 构成的平行四边形的面积

向量的并矢

给定两个向量{% raw %} $\overrightarrow{\mathbf{x}}=\left(x_{1}, x_{2}, \cdots, x_{n}\right)^{T}, \overrightarrow{\mathbf{y}}=\left(y_{1}, y_{2}, \cdots, y_{m}\right)^{T}$ {% endraw %}，则向量的并矢记作：

{% raw %}

\overrightarrow{\mathbf{x}} \overrightarrow{\mathbf{y}}=\left[\begin{array}{cccc} x_{1} y_{1} & x_{1} y_{2} & \cdots & x_{1} y_{m} \\ x_{2} y_{1} & x_{2} y_{2} & \cdots & x_{2} y_{m} \\ \vdots & \vdots & \ddots & \vdots \\ x_{n} y_{1} & x_{n} y_{2} & \cdots & x_{n} y_{m} \end{array}\right]

{% endraw %}

也记作{% raw %} $\overrightarrow{\mathbf{x}} \otimes \overrightarrow{\mathbf{y}}$ {% endraw %}或者{% raw %} $\overrightarrow{\mathbf{x}} \overrightarrow{\mathbf{y}}^{T}$ {% endraw %}。

矩阵运算

给定两个矩阵{% raw %} $\mathbf{A}=\left(a_{i, j}\right) \in \mathbb{R}^{m \times n}, \mathbf{B}=\left(b_{i, j}\right) \in \mathbb{R}^{m \times n}$ {% endraw %}，定义：

阿达马积(Hadamard product)（又称作逐元素积）

{% raw %}

\mathbf{A} \circ \mathbf{B}=\left[\begin{array}{cccc} a_{1,1} b_{1,1} & a_{1,2} b_{1,2} & \cdots & a_{1, n} b_{1, n} \\ a_{2,1} b_{2,1} & a_{2,2} b_{2,2} & \cdots & a_{2, n} b_{2, n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m, 1} b_{m, 1} & a_{m, 2} b_{m, 2} & \cdots & a_{m, n} b_{m, n} \end{array}\right]

{% endraw %}

克罗内积(Kronnecker product)

{% raw %}

\mathbf{A} \otimes \mathbf{B}=\left[\begin{array}{cccc} a_{1,1} \mathbf{B} & a_{1,2} \mathbf{B} & \cdots & a_{1, n} \mathbf{B} \\ a_{2,1} \mathbf{B} & a_{2,2} \mathbf{B} & \cdots & a_{2, n} \mathbf{B} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m, 1} \mathbf{B} & a_{m, 2} \mathbf{B} & \cdots & a_{m, n} \mathbf{B} \end{array}\right]

{% endraw %}

偏导数

标量对标量的偏导数： $\frac{\partial u}{\partial v}$ 。
标量对向量（ $n$ 维向量）的偏导数： $\frac{\partial u}{\partial \overrightarrow{\mathbf{v}}}=\left(\frac{\partial u}{\partial v_{1}}, \frac{\partial u}{\partial v_{2}}, \cdots, \frac{\partial u}{\partial v_{n}}\right)^{T}$ 。
标量对矩阵( $m \times n$ 阶矩阵)的偏导数：

{% raw %}

\frac{\partial u}{\partial \mathbf{V}}=\left[\begin{array}{cccc} \frac{\partial u}{\partial V_{1,1}} & \frac{\partial u}{\partial V_{1,2}} & \cdots & \frac{\partial u}{\partial V_{1, n}} \\ \frac{\partial u}{\partial V_{2,1}} & \frac{\partial u}{\partial V_{2,2}} & \cdots & \frac{\partial u}{\partial V_{2, n}} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial u}{\partial V_{m, 1}} & \frac{\partial u}{\partial V_{m, 2}} & \cdots & \frac{\partial u}{\partial V_{m, n}} \end{array}\right]

{% endraw %}

向量（ $m$ 维向量）对标量的偏导数： $\frac{\partial \overrightarrow{\mathbf{u}}}{\partial v}=\left(\frac{\partial u_{1}}{\partial v}, \frac{\partial u_{2}}{\partial v}, \cdots, \frac{\partial u_{m}}{\partial v}\right)^{T}$ 。
向量（ $m$ 维向量）对向量 ( $n$ 维向量) 的偏导数（雅可比矩阵，行优先）如果为列优先，则为矩阵的转置。

{% raw %}

\frac{\partial \overrightarrow{\mathbf{u}}}{\partial \overrightarrow{\mathbf{v}}}=\left[\begin{array}{cccc} \frac{\partial u_{1}}{\partial v_{1}} & \frac{\partial u_{1}}{\partial v_{2}} & \cdots & \frac{\partial u_{1}}{\partial v_{n}} \\ \frac{\partial u_{2}}{\partial v_{1}} & \frac{\partial u_{2}}{\partial v_{2}} & \cdots & \frac{\partial u_{2}}{\partial v_{n}} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial u_{m}}{\partial v_{1}} & \frac{\partial u_{m}}{\partial v_{2}} & \cdots & \frac{\partial u_{m}}{\partial v_{n}} \end{array}\right]

{% endraw %}

矩阵( $m \times n$ 阶矩阵)对标量的偏导数

{% raw %}

\frac{\partial \mathbf{U}}{\partial v}=\left[\begin{array}{cccc} \frac{\partial U_{1,1}}{\partial v} & \frac{\partial U_{1,2}}{\partial v} & \cdots & \frac{\partial U_{1, n}}{\partial v} \\ \frac{\partial U_{2,1}}{\partial v} & \frac{\partial U_{2,2}}{\partial v} & \cdots & \frac{\partial U_{2, n}}{\partial v} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial U_{m, 1}}{\partial v} & \frac{\partial U_{m, 2}}{\partial v} & \cdots & \frac{\partial U_{m, n}}{\partial v} \end{array}\right]

{% endraw %}

线性代数 - 基础知识

title: 线性代数 - 1 - 基础知识 date: 2021-02-27 21:30:29 tags: [Linear_Algebra] categories: [Linear_Algebra] mathjax: true

定义

范数

向量范数

1-范数

2-范数

p-范数

无穷范数

矩阵范数

1-范数（列模）

2-范数（谱模）：

无穷范数（行模）：

L0范数：

L1范数：

F范数：

行列式

方阵的迹

向量积

点积**（Dot Product）**

叉乘（cross product）

三维向量的叉积：

向量的并矢

矩阵运算

阿达马积(Hadamard product)（又称作逐元素积）

克罗内积(Kronnecker product)

偏导数

参考资料

点积（Dot Product）