Matrix Analysis: 常见范数

向量范数

向量范数
映射 $\lVert \cdot \rVert: \mathbb{C}^{n} \rightarrow \mathbb{R}$, 若满足:

正定性: $\lVert x \rVert \geq 0$, 且 $\lVert x \rVert = 0 \Leftrightarrow x = 0$;
齐次性: $\lVert \alpha x \rVert = |\alpha| \lVert x \rVert$;
三角不等式: $\lVert x + y \rVert \leq \lVert x \rVert + \lVert y \rVert$.
则称 $\lVert \cdot \rVert$ 是 $\mathbb{C}^{n}$ 向量范数.

向量范数具有以下性质:

$\lVert 0 \rVert = 0$;
$x \neq 0$ 时, $\left\lVert \frac{1}{\lVert x \rVert} x \right\rVert = 1$;
对任意 $x \in \mathbb{C}^{n}$, $\lVert -x \rVert = \lVert x \rVert$;
对任意 $x, y \in \mathbb{C}^{n}$, $\lvert \lVert x-y \rVert \rvert \leq \lVert x-y \rVert$.

常见向量范数

$p$ 范数: $\lVert x \rVert_{p} = \left( \sum_{i=1}^{n} |x_{i}|^{p} \right)^{1/p}$, $p \geq 1$;
$1$ 范数: $\lVert x \rVert_{1} = \sum_{i=1}^{n} |x_{i}|$;
$2$ 范数: $\lVert x \rVert_{2} = \sqrt{\sum_{i=1}^{n} |x_{i}|^{2}}$;
$\infty$ 范数: $\lVert x \rVert_{\infty} = \max_{1 \leq i \leq n} |x_{i}|$.

矩阵范数

矩阵范数
设 $A = (a_{ij}) \in P^{m \times n}$, 映射 $\lVert \cdot \rVert: P^{m \times n} \rightarrow \mathbb{R}$, 若满足:

正定性: $\lVert A \rVert \geq 0$, 且 $\lVert A \rVert = 0 \Leftrightarrow A = 0$;
齐次性: $\lVert \alpha A \rVert = |\alpha| \lVert A \rVert$;
三角不等式: $\lVert A + B \rVert \leq \lVert A \rVert + \lVert B \rVert$.
则称 $\lVert \cdot \rVert$ 是 $P^{m \times n}$ 向量范数.

常见矩阵范数

$1$ 范数: $\lVert A \rVert_{1} = \max_{1 \leq j \leq n} \sum_{i=1}^{m} |a_{ij}|$;
$2$ 范数 (又称为 Frobenius 范数 $\lVert A \rVert_{F}$): $\lVert A \rVert_{2} = \sqrt{\rho(A^{*}A)}$;
$\infty$ 范数: $\lVert A \rVert_{\infty} = \max_{1 \leq i \leq m} \sum_{j=1}^{n} |a_{ij}|$.

等价性

设 $\lVert \cdot \rVert_{1}$ 和 $\lVert \cdot \rVert_{2}$ 是 $P^{m \times n}$ 的两个范数, 则存在常数 $c_{1}, c_{2} > 0$, 使得对任意 $A \in P^{m \times n}$, 有:

$c_{1} \lVert A \rVert_{1} \leq \lVert A \rVert_{2} \leq c_{2} \lVert A \rVert_{1}.$

常用矩阵范数等价性:
设 $A \in P^{m \times n}$, 则有:

$\frac{1}{\sqrt{n}} \lVert A \rVert_{1} \leq \lVert A \rVert_{2} \leq \sqrt{n} \lVert A \rVert_{1}$
$\frac{1}{\sqrt{n}} \lVert A \rVert_{\infty} \leq \lVert A \rVert_{2} \leq \sqrt{n} \lVert A \rVert_{\infty}$
$\frac{1}{n} \lVert A \rVert_{\infty} \leq \lVert A \rVert_{1} \leq n \lVert A \rVert_{\infty}$

酉不变性

设 $A \in \mathbb{C}^{n \times n}$, $U, V \in \mathbb{C}^{n \times n}$ 是酉矩阵, 则

$\lVert A \rVert_{F} = \lVert UA \rVert_{F} = \lVert AV \rVert_{F} = \lVert UAV \rVert_{F}.$

算子范数

相容范数
设 $\lVert \cdot \rVert_{a}$, $\lVert \cdot \rVert_{b}$, $\lVert \cdot \rVert_{c}$ 分别是 $P^{m \times l}$, $P^{l \times n}$, $P^{m \times n}$ 的范数, 如果

$\lVert AB \rVert_{c} \leq \lVert A \rVert_{a} \lVert B \rVert_{b},$

则称 $\lVert \cdot \rVert_{a}$, $\lVert \cdot \rVert_{b}$, $\lVert \cdot \rVert_{c}$ 是相容的.

算子范数
设 $\lVert x \rVert_{a}$ 是 $P^{n}$ 上的向量范数, 则

$\lVert A \rVert_{a} = \max_{x \neq 0} \frac{\lVert Ax \rVert_{a}}{\lVert x \rVert_{a}} = \max_{\lVert x \rVert_{u} = 1} \lVert Au \rVert_{a}$

是与向量范数 $\lVert x \rVert_{a}$ 相容的矩阵范数, 称为从属于 $\lVert x \rVert_{a}$ 的算子范数.

算子范数的性质

算子范数是所有与向量范数 $\lVert x \rVert_{a}$ 相容的矩阵范数中最小的.
算子范数是自相容矩阵范数.

常见算子范数

$1$ 范数 (极大列和): $\lVert A \rVert_{1} = \max_{1 \leq j \leq n} \sum_{i=1}^{m} |a_{ij}|$
$\infty$ 范数 (极大行和): $\lVert A \rVert_{\infty} = \max_{1 \leq i \leq m} \sum_{j=1}^{n} |a_{ij}|$
$2$ 范数 (谱范数): $\lVert A \rVert_{2} = \sqrt{\rho(A^{*}A)}$

谱范数的性质

$\lVert A \rVert_{2} = \lVert A^{H} \rVert_{2} = \lVert A^{T} \rVert_{2} = \lVert \bar{A} \rVert_{2}$
$\lVert A^{H}A \rVert_{2} = \lVert AA^{H} \rVert_{2} = \lVert A \rVert_{2}^{2}$
酉不变性: $\lVert A \rVert_{2} = \lVert UA \rVert_{2} = \lVert AV \rVert_{2} = \lVert UAV \rVert_{2}$
$\displaystyle \lVert A \rVert_{2} = \max_{\lVert x \rVert_{2} = 1, \lVert y \rVert_{2} = 1} \lvert y^{H}Ax \rvert$
$\lVert A \rVert_{2}^{2} \leq \lVert A \rVert_{2} \cdot \lVert A \rVert_{\infty}$

条件数

条件数
设 $A$ 是可逆矩阵m, 则称

$\kappa(A) = \lVert A \rVert \lVert A^{-1} \rVert$

为矩阵 $A$ 的条件数.