矩阵基础

携手创作，共同成长！这是我参与「掘金日新计划 · 8 月更文挑战」的第2天，点击查看活动详情

一、矩阵的定义

数学上，通常

• 使用$x_{i,j}$表示标量
• 使用$X_i$表示向量
• 使用X来表示$n\times m$的矩阵
• 使用$R^{n\times m}$来表示$n\times m$的矩阵全体

标量、向量和矩阵的关系如下 $x_i=(x_{i,1},x_{i,2},\cdots,x_{i,m})$ $X=\left(\begin{matrix}X_1\\X_2\\\vdots\\X_n\end{matrix}\right)=(x_{i,j})\in R^{n\times m}$

一些特殊的矩阵

单位矩阵$I_n=\left( \begin{matrix}{ 1 } & { 0 } & { \cdots } & { 0 } \\ { 0 } & { 1 } & { \cdots } & { 0 } \\ { \vdots } & { \vdots } & { } & { \vdots } \\ { 0 } & { 0 } & { \cdots } & { 1 } \end{matrix} \right)=(1_{\{i=j\}})\in R^{n\times n}$ 对角矩阵：$diag(d_1,d_2,\cdots,d_n)=\left( \begin{matrix}{ d _ { 1 } } & { 0 } & { \cdots } & { 0 } \\ { 0 } & { d _ { 2 } } & { \cdots } & { 0 } \\ \vdots&\vdots& &\vdots\\ { 0 } & { 0 } & { \cdots } & { d _ { n } } \end{matrix} \right)\in R^{n\times n}$ 三角矩阵

• 下三角矩阵$L=\left( \begin{matrix}{ l _ { 1,1 } } & { 0 } & { \cdots } & { 0 } \\ { l _ { 2,1 } } & { l _ { 2,2 } } & { \cdots } & { 0 } \\ \vdots&\vdots &&\vdots \\{ l _ { n , 1 } } & { l _ { n , 2 } } & { \cdots } & { l _ { n , n } } \end{matrix} \right)\in R^{n\times n}$
• 上三角矩阵$U=\left( \begin{matrix} { u _ { 1,1 } } & { u _ { 1,2 } } & { \cdots } & { u _ { 1,n } } \\ { 0 } & { u _ { 2,2 } } & { \cdots } & { u _ { 2,n } } \\\vdots&\vdots &&\vdots \\{ 0 } & { 0 } & { \cdots } & { u _ { n , n } } \end{matrix} \right)\in R^{n\times n}$

二、矩阵运算

矩阵可以看做是一些实数的排列，因此，我们希望将实数的四则运算延续到矩阵上

矩阵加减法

矩阵的加减法要求矩阵的形状是一样的，即两个矩阵的函数和列数相同 $X\pm Y=\left( \begin{matrix} x _ { 1 , 1 } \pm y _ { 1 , 1 } & \cdots & { x _ { 1 , m }\pm y _ { 1 , m } } \\\vdots &&\vdots \\ x _ { n , 1 } \pm y _ { n , 1 } & \cdots & { x _ { n , m } } \pm y _ { n , m } \end{matrix} \right)=(x_{i,j}\pm y_{i,j})\in R^{n\times m}$

矩阵加法满足加法交换律和结合律

• $X+Y=Y+X$
• $X+Y+Z=X+(Y+Z)$

矩阵乘法

矩阵的乘法运算分为两种

矩阵与数字的乘法

$kX=\left( \begin{matrix}{ k x _ { 1 , 1 } } & { \cdots } & { k x _ { 1 , m } } \\\vdots &&\vdots \\ { kx_{n,1} } & { \cdots } & { k x _ { n , m } } \end{matrix} \right)=(kx_{i,j})\in R^{n\times m}$

矩阵与矩阵的乘法

矩阵乘法

矩阵乘法的要求：第一个矩阵的列数=第二个矩阵的行数 $A=(a_{i,j})\in R^{n\times p}$ $B=(b_{i,j})\in R^{p\times m}$ $AB=(\sum^p_{\gamma=1}a_{i,\gamma}b_{\gamma,j})\in R^{n\times m}$

矩阵乘法满足结合律和分配律

• $(AB)C=A(BC)$
• $A(B+C)=AB+AC$

矩阵乘法可以简化模型的表示和计算 $\left\{ \begin{matrix} y_{1}=ax_{1}+ {b}\\ y_{2}=ax_{2}+b \\ \end{matrix} \right.$ 令$X=\left(\begin{matrix}x_1&1\\x_2&1\end{matrix}\right),\beta=\left(\begin{matrix}a\\b\end{matrix}\right),Y=\left(\begin{matrix}y_1\\y_2\end{matrix}\right)$ 有$Y=X\beta$

Hadamard乘法

矩阵的Hadamard乘法要求两个矩阵的形状一样 $A\circ B=(a_{i,j}b_{i,j})\in R^{n\times m}$

逆矩阵

逆矩阵的定义只针对$n\times n$的方阵

如果对于方阵$M$，存在方阵$N$满足$MN=NM=I_n$则称$N$为$M$的逆矩阵，记为$N=M^{-1}$

容易证明，逆矩阵如果存在，则逆矩阵唯一。并且有如下的性质

• $(M^{-1})^{-1}=M$
• $(kM)^{-1}= \frac{1}{k}M^{-1}$
• $(MN)^{-1}=N^{-1}M^{-1}$

转置

对于一个$n\times m$的矩阵，它的转置是$m\times n$的矩阵

具体定义$\begin{gathered}X=(x_{i,j})\in R^{n\times m}\\X^T=(x_{j,i})\in R^{n\times m}\end{gathered}$

容易证明

• $(X^T)^T=X$
• $(X+Y)^T=X^T+Y^T$
• $(kX)^T=kX^T$
• $(XY)^T=Y^TX^T$
• $(X^T)^{-1}=(X^{-1})^T$

定义对称矩阵$X^T=X$