Hilbert空间

Reproducing Kernel Hilbert Space

  • Hilbert space:假设 $K(x,z)$ 是定义在 $\mathcal{X X}$ 上的对称函数,并且对任意 $x_1, x_2, \cdots, x_m \in \mathcal{X}$,$K(x,z)$ 关于其的 Gram* 矩阵半正定,则可以根据函数 $K(x,z)$ 构成一个希尔伯特空间

构造步骤

定义映射构成向量空间

  • 定义映射

  • 根据此映射,对任意 $x_i \in \mathcal{X}, \alpha_i \in R, i = 1,2,\cdots,m$ 定义线性组合

  • 由以上线性组合为元素的集合 $S$ 对加法、数乘运算是封闭的,所以 $S$ 构成一个向量空间

定义内积构成内积空间

  • 在 $S$ 上定义运算 $ * $:对任意 $f,g \in S$

    定义运算 $ * $

  • 为证明运算 $ * $ 是空间 $S$ 的内积

    • 需要证明:
      • $(cf) g = c(f g), c \in R$
      • $(f + g) h = f h + g * h, h \in S$
      • $f g = g f$
      • $f f \geq 0, f f = 0 \Leftrightarrow f = 0$
    • 其中前3条由 $S$ 元素定义、$K(x,z)$ 对称性容易得到
    • 由 $ * $ 运算规则可得Gram 矩阵非负可知上式右端非负,即 $f * f \geq 0$
  • 为证明 $f * f \Leftrightarrow f = 0$

    • 首先证明

      • 设$f, g \in S$,则有$f + \lambda g \in S$,则有

      • 则上述关于$\lambda$的判别式非负,即

    • $\forall x \in \mathcal{x}$,有

      则有

    • 则有

      即$f * f = 0$时,对任意$x$都有$|f(x)| = 0$

  • 因为 $ * $ 为向量空间 $S$ 的内积,可以继续用 $ · $ 表示

完备化构成Hilbert空间

  • 根据内积定义可以得到范数

    所以 $S$ 是一个赋范向量空间,根据泛函分析理论,对于不完备的赋范空间 $S$ ,一定可以使之完备化得到希尔伯特空间 $\mathcal{H}$

  • 此希尔伯特空间 $\mathcal{H}$ ,称为 reproducing kernel Hilber Space ,因为核 $K$ 具有再生性

Positive Definite Kernel Function

  • 设 $K: \mathcal{X X} \leftarrow R$ 是对称函数,则 $K(x,z)$ 为正定核函数的充要条件是 $\forall x_i \in \mathcal{X}, i=1,2,…,m$,$K(x,z)$ 对应的 Gram 矩阵 $K = [K(xi, x_j)]{mm} $ 是半正定矩阵

  • 必要性

  • 由于 $K(x,z)$ 是 $\mathcal{X X}$ 上的正定核,所以存在从 $\mathcal{X}$ 到 Hilbert* 空间 $\mathcal{H}$ 的映射,使得

  • 则对任意 $x_1, x_2, \cdots, x_m$,构造 $K(x,z)$ 关于其的 Gram 矩阵

  • 对任意 $c_1, c_2, \cdots, c_m \in R$,有

    所以 $K(x,z)$ 关于 $x_1, x_2, \cdots, x_m$ 的 Gram 矩阵半正定

  • 充分性
  • 对给定的 $K(x,z)$,可以构造从 $\mathcal{x}$ 到某个希尔伯特空间的映射

  • 且有

    所以 $K(x,z)$ 是 $\mathcal{X * X}$ 上的核函数

Author

UBeaRLy

Posted on

2019-07-21

Updated on

2021-08-04

Licensed under

Comments