Reproducing Kernel Hilbert Space (RKHS)

核函数 (Kernel)
二元函数 $K(x, y): \mathcal{X} \times \mathcal{X} \rightarrow \mathbb{R}$ 如果满足:

1. 对称性: $K(x, y) = K(y, x)$;
2. 正定性: $\displaystyle \iint K(x, y) f(x) f(y) \mathrm{d}x \mathrm{d}y \geq 0$.

则称 $K$ 是 $\mathcal{X}$ 上的核.

特征值和特征函数
对于核 $K$, 存在特征值 $\lambda \geq 0$ 和特征函数 $\phi(x)$, 满足:

特征值分解 (Mercer定理)
如果 $K$ 是一个连续核, 则 $K$ 可以表示为:

Reproducing Kernel Hilbert Space (RKHS)
如果对于任意 $x \in \mathcal{X}$, $\delta_{x}$ 都是 $\mathcal{H}$ 上的连续线性函数, 则 $\mathcal{H}$ 是一个 再生核希尔伯特空间 (Reproducing Kernel Hilbert Space, RKHS).

再生核
$K: \mathcal{X} \times \mathcal{X} \rightarrow \mathbb{R}$ 如果满足:

1. 对于任意 $x \in \mathcal{X}$, $K(x, \cdot) \in \mathcal{H}$;
2. 对于任意 $x \in \mathcal{X}$, $f(x) = \langle f, K(x, \cdot) \rangle_{\mathcal{H}}$.

则称 $K$ 是 $\mathcal{H}$ 的再生核, 记 $\Phi(x) = K(x, \cdot)$.

设 $\mathcal{H}$ 是一个 $\mathcal{X}$ 上的 RKHS, 其再生核为 $K$, 则:

• 性质1
  对 $\forall x \in \mathcal{X}$, $K(x, \cdot)$ 是 $\delta_{x}$ 的线性组合, 即 $\displaystyle K(x, \cdot) = \sum_{i=1}^{n} a_{i} \delta_{x_{i}}$.
• 性质2
  对 $\forall x, y \in \mathcal{X}$, 有 $K(y, \cdot)$ $\langle K(x, \cdot), K(y, \cdot) \rangle_{\mathcal{H}} = K(x, y)$.