核函数

支持向量机通过某非线性变换 φ( x) ，将输入空间映射到高维特征空间。特征空间的维数可能非常高。如果支持向量机的求解只用到内积运算，而在低维输入空间又存在某个函数 K(x, x′) ，它恰好等于在高维空间中这个内积，即K( x, x′) =<φ( x) ⋅φ( x′) > 。那么支持向量机就不用计算复杂的非线性变换，而由这个函数 K(x, x′) 直接得到非线性变换的内积，使大大简化了计算。这样的函数 K(x, x′) 称为核函数。

例如：

低维空间的向量x(x1, x2)向高维映射到y(y1, y2, y3)。

$$ y = (x_1^2, \sqrt{2}x_1x_2, x_2^2) $$

$$ y_i^Ty_j = {(x_i^Tx_j)}^2 $$

可见某些特殊情况下，高维向量的内积，可以由低维向量来表示。

即：

$$ K( x, x′) =<φ( x) ⋅φ( x′) > $$

<.,.>表示内积

K(x, z)是对称连续函数

mercer定理给出了什么样的情况下才有这个K函数，也称核函数。

满足mercer定理提出的条件，所投影到的高维空间，也称作“再现核希尔伯特空间”RKHS

核的典型例子有很多，多项式，径向基函数，双曲正切等。