Matrix Analysis: 常见矩阵分解

三角分解

记 $R$, $L$ 分别为正线上三角矩阵和正线下三角矩阵; $\tilde{R}$, $\tilde{L}$ 分别为单位上三角矩阵和单位下三角矩阵; $U$, $V$ 为酉矩阵; $D$ 为对角矩阵.
注: 以上矩阵具有逆运算, 乘积运算的结构不变性 (或酉不变性).
$Q$ 代表正交矩阵.

UR 分解 & LU 分解
若 $A \in \mathbb{C}^{m \times n}$, 则 $A$ 可以唯一地分解为 $A = U_{1}R$, 或 $A = LU_{2}$.

UR(LU) 分解可以被理解为对 $A$ 的列(行)空间进行 Gram-Schmidt 正交化, $U$ 为变化后得到的标准正交基, $R(L)$ 为 $A$ 在该基下的坐标.

QR 分解 & LQ 分解
若 $A \in \mathbb{R}^{n \times n}$, 则 $A$ 可以唯一地分解为 $A = Q_{1}R$, 或 $A = LQ_{2}$.

QR(LQ) 分解是 UR(LU) 分解在实数方阵上的一个特例.

注: 以上分解都具有唯一性.

酉分解
若 $A \in \mathbb{C}^{m \times n}$, 则存在酉矩阵 $U$ 和 $V$ 使得

$A = U\begin{bmatrix} L & 0 \\\\ 0 & 0\end{bmatrix}V.$

谱分解

单纯矩阵

代数重复度&几何重复度

代数重复度: 特征值 $\lambda$ 在特征多项式 $f(\lambda)$ 中的重数
几何重复度: 特征值 $\lambda$ 对应的特征子空间的维数

几何重复度 $\leq$ 它的代数重复度!

单纯矩阵
若对 $A$ 的每个特征值有, 代数重复度 $=$ 几何重复度, 则称 $A$ 是单纯矩阵.

$A$ 是单纯矩阵 $\Leftrightarrow$ $A$ 可对角化.

单纯矩阵的幂等分解
设 $A$ 是单纯矩阵, 则 $A$ 可以分解为一系列幂等矩阵 $A_{i}\ (i=1,2, \cdots, n)$ 的加权和:

$A = \sum_{i=1}^{n} \lambda_{i} A_{i}$

其中, $\lambda_{i}$ 是 $A$ 的特征值.

正规矩阵

正规矩阵
若 $A$ 满足 $AA^{H} = A^{H}A$, 则称 $A$ 是正规矩阵.

若 $A$ 为正规矩阵, 且 $A$ 与 $B$ 酉相似, 则 $B$ 为正规矩阵.
$A$ 是正规矩阵 $\Leftrightarrow$ $A$ 与对角矩阵 $D$ 酉相似.

Schur 分解
若 $A \in \mathbb{C}^{n \times n}$, 则存在酉矩阵 $U$ 使得

$A = U R U^{H}$

其中 $R$ 是上三角矩阵, 且对角元为是 $A$ 的特征值.

Hermitian 矩阵及其分解

Hermitian 矩阵

Hermitian 矩阵
若 $A \in \mathbb{C}^{n \times n}$, 若 $A = A^{H}$, 则称 $A$ 是 Hermitian 矩阵, 若 $A = -A^{H}$, 则称 $A$ 是反-Hermitian 矩阵.
注: 实对称矩阵是Hermitian矩阵的一个特例.

Hermitian 矩阵 $A$ 性质:

$A$ 的特征值是实数 (如量子力学中的力学量), 特征向量是正交的.
$A$ 是正规矩阵 (酉相似于对角矩阵).

(半)正定二次型
若 $A \in \mathbb{C}^{n \times n}$ 是 Hermitian 矩阵, 若对任意非零向量 $x \in \mathbb{C}^{n}$, 有

$f(x) = x^{H}Ax > 0 \ (geq 0)$

则称 $f(x)$ 是正定 (半正定) 二次型, $A$ 是正定 (半正定) Hermitian 矩阵.

正定 Hermitian 矩阵 $A$ 性质:

$A$ 的对角元素都是正数.
$A$ 的特征值都是正数.
$A$ 的顺序主子式都是正数.
$A$ 与单位矩阵合同.
存在正定矩阵 $B$ 使得 $A = B^{k}$.
存在正线下三角矩阵 $L$ 使得 $A = LL^{H}$ (Cholesky 分解).
$det(A) \leq a_{11}a_{22} \cdots a_{nn}$ (Hadamard 不等式).

<!— ## 最大秩分解

最大秩分解

最大秩分解
若 $A \in \mathbb{C}^{m \times n}_{r}$, 则存在矩阵 $B \in \mathbb{C}^{m \times r}_{r}$ 和 $C \in \mathbb{C}^{r \times n}_{r}$ 使得 $A = BC$.

-->

奇异值分解

设 $A \in \mathbb{C}^{m \times n}$, 则：

$rank(A) = rank(A^{H}A) = rank(AA^{H})$.
$A^{H}A, AA^{H}$ 的特征是均为非负实数 (为 Hermitian 矩阵).
$A^{H}A, AA^{H}$ 的非零特征值是相同的.

正奇异值
若 $A \in \mathbb{C}^{m \times n}_{r}$, $A^{H}A$ 的特征值为:

$\lambda_{1} \geq \lambda_{2} \geq \cdots \geq \lambda_{r} > 0, \lambda_{r+1} = \cdots = \lambda_{n} = 0.$

则 $\sigma_{i} = \sqrt{\lambda_{i}}$ 称为 $A$ 的正奇异值.

若 $A$ 与 $B$ 酉等价, 则 $A$ 和 $B$ 的奇异值相同.

奇异值分解
设 $A \in \mathbb{C}^{m \times n}_{r}$. $\sigma_{1} \geq \sigma_{2} \geq \cdots \geq \sigma_{r} \gt 0$ 是 $A$ 的 $r$ 个奇异值, 则存在酉矩阵 $U \in \mathbb{C}^{m \times m}$ 和 $V \in \mathbb{C}^{n \times n}$, 使得

$A = U\begin{bmatrix} \Sigma & 0 \\\\ 0 & 0\end{bmatrix}V^{H}$

其中 $\Sigma = diag(\sigma_{1}, \sigma_{2}, \cdots, \sigma_{r})$.

最大秩分解

最大秩分解
设 $A \in \mathbb{C}^{m \times n}_{r}$, 则存在矩阵 $B \in \mathbb{C}^{m \times r}_{r}$ 和 $D \in \mathbb{C}^{r \times n}_{r}$ 使得

$A = BD.$

例

求以下矩阵的最大秩分解:

$A = \begin{bmatrix} 1 & 3 & 2 & 1 & 4 \\ 2 & 6 & 1 & 0 & 7 \\ 3 & 9 & 3 & 1 & 11 \\\end{bmatrix}.$

解:
(行初等变换) 对 $A$ 进行初等行变换为简化行阶梯形矩阵 $\tilde{A}$: $A \leftarrow\begin{bmatrix} 1 & 3 & 0 & -\frac{1}{3} & \frac{10}{3} \\ 0 & 0 & 1 & \frac{2}{3} & \frac{1}{3} \\ 0 & 0 & 0 & 0 & 0 \\\end{bmatrix} = \tilde{A}.$ 则 $A = BD$, 其中 $B =\begin{bmatrix} 1 & 2 \\ 2 & 1 \\ 3 & 3 \\\end{bmatrix},D =\begin{bmatrix} 1 & 3 & 0 & -\frac{1}{3} & \frac{10}{3} \\ 0 & 0 & 1 & \frac{2}{3} & \frac{1}{3} \\\end{bmatrix}$

(列初等变换) 对 $A$ 进行初等列变换为简化列阶梯形矩阵 $\tilde{A}$:

$\begin{bmatrix} 1 & 0 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 & 0 \\ \end{bmatrix}= \tilde{A}.$

则 $A = BD$, 其中

$B = \begin{bmatrix} 1 & 0 \\ 0 & 1 \\ 1 & 1 \\\end{bmatrix}D = \begin{bmatrix} 1 & 3 & 2 & 1 & 4 \\ 2 & 6 & 1 & 0 & 7 \\\end{bmatrix}.$