机器学习数学基础（二）

向量与矩阵

基本符号

• ${\mathbb{R}}^n$ ：n维实数列向量空间
• ${\mathbb{R}}^{m\times n}$ ：具有 $m$ 行 $n$ 列的实数矩阵空间
• $I_n$ ： $n\times n$ 单位矩阵
• $0_{m\times n}$ ： $m\times n$ 零矩阵

基本运算

• 矩阵加法与标量乘法：

  $$A+B=[a_{ij}+b_{ij}],cA=[c{a}_{ij}]$$

  例如，设

  $$A=\left[\begin{array}{cc}{a}_{11}& a_{12}\\ a_{21}& a_{22}\end{array}\right],B=\left[\begin{array}{cc}{b}_{11}& b_{12}\\ b_{21}& b_{22}\end{array}\right]$$

  则它们的和为

  $$A+B=\left[\begin{array}{cc}{a}_{11}+b_{11}& a_{12}+b_{12}\\ a_{21}+b_{21}& a_{22}+b_{22}\end{array}\right]$$

  对于标量 $c\in \mathbb{R}$ ，

  $$cA=\left[\begin{array}{cc}c{a}_{11}& c{a}_{12}\\ c{a}_{21}& c{a}_{22}\end{array}\right]$$

• 矩阵-向量乘积：若 $A\in {\mathbb{R}}^{m\times n}$ 且 $x\in {\mathbb{R}}^n$ ，则 $Ax\in {\mathbb{R}}^m$ 。例如，设

  $$A=\left[\begin{array}{cc}1& 2\\ 3& 4\\ 5& 6\end{array}\right]\in {\mathbb{R}}^{3\times 2},x=\left[\begin{array}{c}7\\ 8\end{array}\right]\in {\mathbb{R}}^2$$

  则

  $$Ax=\left[\begin{array}{c}1\cdot 7+2\cdot 8\\ 3\cdot 7+4\cdot 8\\ 5\cdot 7+6\cdot 8\end{array}\right]=\left[\begin{array}{c}7+16\\ 21+32\\ 35+48\end{array}\right]=\left[\begin{array}{c}23\\ 53\\ 83\end{array}\right]\in {\mathbb{R}}^3$$

• 矩阵-矩阵乘积：若 $A\in {\mathbb{R}}^{m\times n}$ 且 $B\in {\mathbb{R}}^{n\times p}$ ，则 $AB\in {\mathbb{R}}^{m\times p}$ 。设

  $$A=\left[\begin{array}{ccc}1& 2& 3\\ 4& 5& 6\end{array}\right]\in {\mathbb{R}}^{2\times 3},B=\left[\begin{array}{cc}7& 8\\ 9& 10\\ 11& 12\end{array}\right]\in {\mathbb{R}}^{3\times 2}$$

  则

  $$AB=\left[\begin{array}{cc}1\cdot 7+2\cdot 9+3\cdot 11& 1\cdot 8+2\cdot 10+3\cdot 12\\ 4\cdot 7+5\cdot 9+6\cdot 11& 4\cdot 8+5\cdot 10+6\cdot 12\end{array}\right]=\left[\begin{array}{cc}58& 64\\ 139& 154\end{array}\right]\in {\mathbb{R}}^{2\times 2}$$

转置

• $A=[a_{ij}]\in {\mathbb{R}}^{m\times n}$ 的转置是 $A^{\mathrm{\top }}\in {\mathbb{R}}^{n\times m}$ ，定义为 $(A^{\mathrm{\top }}{)}_{ij}=a_{ji}$ 。例如，当

  $$A=\left[\begin{array}{ccc}1& 2& 3\\ 4& 5& 6\end{array}\right]$$

  则转置为

  $$A^T=\left[\begin{array}{cc}1& 4\\ 2& 5\\ 3& 6\end{array}\right]$$

• 性质：

  • $(A^{\mathrm{\top }}{)}^{\mathrm{\top }}=A$
  • $(AB{)}^{\mathrm{\top }}=B^{\mathrm{\top }}{A}^{\mathrm{\top }}$
  • $(A+B{)}^{\mathrm{\top }}=A^{\mathrm{\top }}+B^{\mathrm{\top }}$

对称矩阵

如果 $A=A^{\mathrm{\top }}$ ，则方阵 $A$ 是对称的。

---

线性组合、张成空间与线性无关

线性组合

如果向量 $v$ 可以表示为向量 $v_1,\dots ,v_k$ 的线性组合，即

$$v={\alpha }_1{v}_1+\cdots +{\alpha }_k{v}_k,\text{其中 }{\alpha }_i\in \mathbb{R}$$

例如，设

$$v_1=\left[\begin{array}{c}1\\ 2\end{array}\right],v_2=\left[\begin{array}{c}3\\ -1\end{array}\right],{\alpha }_1=2,{\alpha }_2=-1$$

则线性组合为：

$${\alpha }_1{v}_1+{\alpha }_2{v}_2=2\left[\begin{array}{c}1\\ 2\end{array}\right]-\left[\begin{array}{c}3\\ -1\end{array}\right]=\left[\begin{array}{c}2\\ 4\end{array}\right]-\left[\begin{array}{c}3\\ -1\end{array}\right]=\left[\begin{array}{c}-1\\ 5\end{array}\right]$$

张成空间

$\{v_1,\dots ,v_k\}$ 的张成空间是集合

$$\text{span}(v_1,\dots ,v_k)=\{\sum _{i=1}^k{\alpha }_i{v}_i:{\alpha }_i\in \mathbb{R}\}$$

例如，设

$$v_1=\left[\begin{array}{c}1\\ 0\end{array}\right],v_2=\left[\begin{array}{c}0\\ 1\end{array}\right]$$

则 $\{v_1,v_2\}$ 的张成空间是所有形如以下形式的向量的集合：

$${\alpha }_1{v}_1+{\alpha }_2{v}_2=\left[\begin{array}{c}{\alpha }_1\\ {\alpha }_2\end{array}\right],\text{其中 }{\alpha }_1,{\alpha }_2\in \mathbb{R}$$

因此，

$$\text{span}(v_1,v_2)={\mathbb{R}}^2$$

线性无关

如果方程

$$\sum _{i=1}^k{\alpha }_i{v}_i=0$$

的唯一解是 ${\alpha }_1=\cdots ={\alpha }_k=0$ ，则向量 $v_1,\dots ,v_k$ 是线性无关的。否则，它们是线性相关的。

例如，设

$$v_1=\left[\begin{array}{c}10\\ 0\end{array}\right],v_2=\left[\begin{array}{c}0\\ -3.3\end{array}\right]$$

考虑方程

$${\alpha }_1{v}_1+{\alpha }_2{v}_2=\left[\begin{array}{c}0\\ 0\end{array}\right]$$

这变为

$${\alpha }_1\left[\begin{array}{c}10\\ 0\end{array}\right]+{\alpha }_2\left[\begin{array}{c}0\\ -3.3\end{array}\right]=\left[\begin{array}{c}10{\alpha }_1\\ -3.3{\alpha }_2\end{array}\right]=\left[\begin{array}{c}0\\ 0\end{array}\right]$$

这意味着 ${\alpha }_1=0$ 且 ${\alpha }_2=0$ 。因此， $v_1$ 和 $v_2$ 是线性无关的。

---

矩阵秩与线性方程组

矩阵秩

矩阵 $A\in {\mathbb{R}}^{m\times n}$ 的秩 $r$ 是线性无关列的数量（等价地， $A$ 的列空间的维数）。注意 $r\le min(m,n)$ ，当 $r=min(m,n)$ 时，我们称 $A$ 是满秩的。满秩方阵称为非奇异的（或可逆的）。

考虑矩阵

$$A=\left[\begin{array}{ccc}1& 2& 3\\ 4& 5& 6\\ 7& 8& 9\end{array}\right]$$

第三列是前两列的线性组合：

$$\text{第3列}=-1\cdot \text{第1列}+2\cdot \text{第2列}$$

因此，列是线性相关的， $A$ 的秩为 2。

行列式

设 $A=(a_{ij})\in {\mathbb{R}}^{n\times n}$ 。 $A$ 的行列式，记作 $det(A)$ ，可以定义为

$$det(A)=\sum _{\sigma \in S_n}\text{sgn}(\sigma )\prod _{i=1}^n{a}_{i,\sigma (i)}$$

其中 $S_n$ 是 $\{1,\dots ,n\}$ 的所有排列的集合， $\text{sgn}(\sigma )$ 是 $\sigma$ 的符号。

矩阵 $A$ 可逆当且仅当 $det(A)\ne 0$ 。

示例

计算矩阵的行列式

$$B=\left(\begin{array}{ccc}1& 2& 3\\ 0& 1& 4\\ 5& 6& 0\end{array}\right)$$

沿第一行展开：

$$det(B)=1\cdot det\left(\begin{array}{cc}1& 4\\ 6& 0\end{array}\right)-2\cdot det\left(\begin{array}{cc}0& 4\\ 5& 0\end{array}\right)+3\cdot det\left(\begin{array}{cc}0& 1\\ 5& 6\end{array}\right)$$

每个 $2\times 2$ 行列式为

$$det\left(\begin{array}{cc}1& 4\\ 6& 0\end{array}\right)=1\cdot 0-4\cdot 6=-24$$ $$det\left(\begin{array}{cc}0& 4\\ 5& 0\end{array}\right)=0\cdot 0-4\cdot 5=-20$$ $$det\left(\begin{array}{cc}0& 1\\ 5& 6\end{array}\right)=0\cdot 6-1\cdot 5=-5$$

因此

$$det(B)=1\cdot (-24)-2\cdot (-20)+3\cdot (-5)=-24+40-15=1$$

线性方程组

线性方程组 $Ax=b$ 满足：

• 解存在当且仅当 $b$ 在 $A$ 的列空间中，即 $b\in \text{col}(A)=\text{span}(A\text{的列})$
• 如果 $A$ 是方阵且满秩，则解唯一且由 $x=A^{-1}b$ 给出

例如，设

$$A=\left[\begin{array}{cc}1& 2\\ 3& 4\end{array}\right],b=\left[\begin{array}{c}5\\ 11\end{array}\right]$$

由于 $A$ 是方阵且满秩（秩为 2），存在唯一解：

$$x=A^{-1}b=\left[\begin{array}{cc}-2& 1\\ 1.5& -0.5\end{array}\right]\left[\begin{array}{c}5\\ 11\end{array}\right]=\left[\begin{array}{c}1\\ 2\end{array}\right]$$

矩阵的逆

设 $A\in {\mathbb{R}}^{n\times n}$ 。如果矩阵 $B\in {\mathbb{R}}^{n\times n}$ 满足

$$BA=AB=I_n$$

则称 $B$ 为 $A$ 的（双边）逆。

如果这样的 $B$ 存在，则称 $A$ 是可逆的（或非奇异的）；这恰好发生在

$$\text{rank}(A)=n⟺det(A)\ne 0$$

在这种情况下，逆是唯一的，记作 $A^{-1}$ 。

示例 1（符号形式， $2\times 2$ ）：设

$$A=\left(\begin{array}{cc}a& b\\ c& d\end{array}\right),ad-bc\ne 0$$

可以直接验证

$$A^{-1}=\frac{1}{ad-bc}\left(\begin{array}{cc}d& -b\\ -c& a\end{array}\right)$$

因为 $(A^{-1}A{)}_{ij}={\delta }_{ij}$ 。

示例 2（数值形式）：取

$$A=\left(\begin{array}{cc}1& 2\\ 3& 4\end{array}\right)$$

所以 $det(A)=-2$ 。则

$$A^{-1}=-\frac{1}{2}\left(\begin{array}{cc}4& -2\\ -3& 1\end{array}\right)=\left(\begin{array}{cc}-2& 1\\ 1.5& -0.5\end{array}\right)$$

可以验证 $A^{-1}A=I_2$ 。

特征值与特征向量

设 $A\in {\mathbb{R}}^{n\times n}$ 。如果存在标量 $\lambda \in \mathbb{R}$ 使得非零向量 $v\in {\mathbb{R}}^n$ 满足

$$Av=\lambda v$$

则称 $v$ 为 $A$ 的特征向量。

标量 $\lambda$ 称为与 $v$ 对应的 $A$ 的特征值。等价地， $\lambda$ 是 $A$ 的特征值当且仅当

$$det(A-\lambda I)=0$$

$A$ 的所有特征值的集合通常称为 $A$ 的谱。

例如，考虑矩阵

$$A=\left(\begin{array}{cc}2& 1\\ 1& 2\end{array}\right)$$

1. 计算特征多项式：

   $$det(A-\lambda I)=det\left(\begin{array}{cc}2-\lambda & 1\\ 1& 2-\lambda \end{array}\right)=(2-\lambda {)}^2-1={\lambda }^2-4\lambda +3$$

2. 解 ${\lambda }^2-4\lambda +3=0$ 得到

   $${\lambda }_1=1,{\lambda }_2=3$$

3. 对于每个 ${\lambda }_i$ ，找到满足 $(A-{\lambda }_{i}I)v_i=0$ 的非零 $v_i$ ：

   • ${\lambda }_1=1$ ： $$(A-I)v=0⟹\left(\begin{array}{cc}1& 1\\ 1& 1\end{array}\right)v=0⟹v_1=\left(\begin{array}{c}1\\ -1\end{array}\right)$$
   • ${\lambda }_2=3$ ： $$(A-3I)v=0⟹\left(\begin{array}{cc}-1& 1\\ 1& -1\end{array}\right)v=0⟹v_2=\left(\begin{array}{c}1\\ 1\end{array}\right)$$

因此特征对为

$$({\lambda }_1,v_1)=(1,(1,-1{)}^{\mathrm{\top }}),({\lambda }_2,v_2)=(3,(1,1{)}^{\mathrm{\top }})$$

---

奇异值分解（SVD）

任何实矩阵 $A\in {\mathbb{R}}^{m\times n}$ 都可以分解为

$$A=U\mathrm{\Sigma }{V}^T$$

其中：

• $U\in {\mathbb{R}}^{m\times m}$ 是正交矩阵（其列是 $A$ 的左奇异向量）
• $\mathrm{\Sigma }\in {\mathbb{R}}^{m\times n}$ 是具有非负元素的对角矩阵（ $A$ 的奇异值）
• $V\in {\mathbb{R}}^{n\times n}$ 是正交矩阵（其列是 $A$ 的右奇异向量）

示例

设

$$A=\left[\begin{array}{cc}3& 1\\ 0& 2\end{array}\right]\in {\mathbb{R}}^{2\times 2}$$

$A$ 的一个（近似）SVD为：

$$U=\left[\begin{array}{cc}0.957& -0.290\\ 0.290& 0.957\end{array}\right],\mathrm{\Sigma }=\left[\begin{array}{cc}3.257& 0\\ 0& 1.842\end{array}\right],V=\left[\begin{array}{cc}0.882& 0.472\\ -0.472& 0.882\end{array}\right]$$

使得

$$A=U\mathrm{\Sigma }{V}^T$$

这种分解有助于理解 $A$ 的结构，广泛应用于降维、数据压缩和求解病态问题等应用中。

对称矩阵的谱分解

如果 $A\in {\mathbb{R}}^{n\times n}$ 是对称矩阵（即 $A=A^{\mathrm{\top }}$ ），则它可以分解为

$$A=Q\mathrm{\Lambda }{Q}^{\mathrm{\top }}$$

其中：

• $Q\in {\mathbb{R}}^{n\times n}$ 是正交矩阵，其列是 $A$ 的特征向量
• $\mathrm{\Lambda }\in {\mathbb{R}}^{n\times n}$ 是对角矩阵，其对角元素是 $A$ 的特征值

这种分解是 SVD 的特殊情况，称为 $A$ 的谱分解或特征分解。