對於乙個實對稱矩陣
那麼，
是矩陣
的特徵值，而
是對應的特徵向量。如果
有兩個不同的特徵值
和 ，對應不同的特徵向量
和 ，且
，則有最左邊和最右邊相等，但是由於
，那麼一定有
，即 和
正交。也就是說任意兩個特徵向量一定是正交的。
對於矩陣
，我們可以找到
個特徵值及其對應的特徵向量。那麼，
可以按如下的形式進行特徵值分解
其中，
為正交矩陣即
， . 將
按列寫開
，則有這裡的
為 空間的一組正交基。
每乙個函式
都可以看做乙個無限維的向量，那麼二元函式
就可以看做是乙個無限維的矩陣。如果它滿足：
那麼它就是乙個核函式。
與矩陣特徵值和特徵向量類似，核函式存在特徵值和特徵函式（將函式看做無限維向量）。也就是，
模擬於上面的矩陣，對於不同的特徵值
, 及其對應的特徵方程 , ,
因此，
。也就是說特徵方程是正交的。
乙個核函式對應無窮個特徵值
和無窮個特徵方程
。和矩陣類似，
這就是mercer定理。這裡，
, 。
是原來函式空間的一組正交基。 將
作為一組正交基構建乙個希爾伯特空間
。這個空間中的任何乙個函式（向量）都可以表示為這組基的線性組合。如
那麼 就可以表示為
中的乙個無限維的向量：
表示二元函式或無限維矩陣，
就可以表示矩陣第
行的一元函式或無限維向量，也就是固定核函式的乙個引數為
，那麼將每一項除去對應的基底，對應到空間
中的向量就是
同樣的，
因此，以上就是核的可再生性(reproducing)，即用核函式來再生兩個函式的內積。
也被叫做
可再生核希爾伯特空間(rkhs, reproducing kernel hilbert space)。
如果定義了乙個對映，
將點 對映到空間
。那麼，
因此，我們並不需要知道這個對映是什麼，特徵空間在**，只要是乙個對稱正定的函式
，就必然存在對映
和特徵空間
,使得這就是所謂的核技巧(kernel trick)。
a story of basis and kernel - part ii: reproducing kernel hilbert space
再生核希爾伯特空間1 希爾伯特空間
再生核希爾伯特空間首先一定是希爾伯特空間，所以先介紹希爾伯特 hilbert 空間 設 e 非空集合，h 為定義在e 上的線性空間 h h c h,h h,h 1 2h 若h是完備的，則按照上述定義的h 是hilbert 空間.設h為有限維復函式空間，基 f 1,f2 f n 則 f h可以寫做f1...
再生核希爾伯特空間（RKHS）
通俗來講，線性空間就是定義了加法和數乘的空間。定義了加法和數乘，空間裡的任何元素都可以由其他元素線性表出，這就是線性空間。度量空間就是定義了距離的空間。但這裡的距離並不能簡單地認為是我們通常情況下所說的兩點之間連線的直線距離 即歐氏距離 事實上，有很多種不同距離的定義方式，這裡我列舉一些距離的定義。...
再生核希爾伯特空間 預備知識1
拿到reproducing kernel hilbert spaces in probability and statistics數月有餘，這都2016年了，還是撿起來念一念吧 念這本書的心情是複雜的，過程是困難的 買書如山倒，讀書如抽絲 這部分就先來說說空間，這個可以參考一下理解矩陣中關於空間的描...