希爾伯特空間

上海交通大學公開課：數學之旅

總結：距離 -> 範數 -> 內積

（線性空間 + 範數 = 賦範空間 + 線性結構） + 內積 = 內積空間 + 完備性 = 希爾伯特空間

線性空間：又稱為向量空間，關注的是向量的位置。知道基便可確定空間中元素的位置。線性空間定義了加法和數乘運算。

如果我們想要知道向量的長度怎麼辦。定義範數，引入賦範線性空間。

賦範線性空間：定義了範數的線性空間。即定義了長度的空間

如果我們想知道向量的夾角怎麼辦。定義內積，引入內積空間。

內積空間：定義了內積的賦範線性空間。引入了正交和投影的概念。建立起相應的幾何學。

歐式空間：定義了內積的有限維實線性空間。

如果我們想研究收斂性（極限）怎麼辦？定義完備。

banach空間：完備的賦範線性空間。

hilbert空間：完備的內積空間。極限運算不能跑出度量的範圍。

距離必須滿足三點

設x為任意非空集合，對x中任意兩點x，y，有一實數d(x， y)與之對應且滿足：

下面在已經構成的線性賦範空間上繼續擴充套件，新增內積運算，使空間中有角的概念，形成如下：

線性賦範空間+內積運算⟶ 內積空間；

這時的內積空間已經有了距離、長度、角度等，有限維的內積空間也就是我們熟悉的歐氏空間。

繼續在內積空間上擴充套件，使得內積空間滿足完備性，形成希爾伯特空間如下：

內積空間+完備性⟶ 希爾伯特空間

對距離進行弱化，只保留距離的極限和連續的概念，就形成拓撲的概念。

如何理解希爾伯特空間的完備性？

完備性指的是，空間中的任何柯西序列都收斂在該空間之內。

柯西序列定義：設xn是距離空間x中的點列，如果對於任意的e > 0, 存在自然數n , 當m，n>n時，|xn - xm| < e，則xn是柯西序列。這裡把兩個數之差定義為距離，也可以定義其它方式，柯西序列依賴於距離，因此只有在定義了距離的度量空間內才有意義。

舉乙個完備的例子實數空間。

不完備的例子：有理數空間。比如根號2，是乙個柯西序列，定義在有理數上，但是極限是無理數，不在有理數空間內。

(0, 1)不完備，比如（1/2， 1/3，1/4，1/5...）是柯西序列，但是不收斂於（0， 1）的任何點。

直觀上講：乙個空間完備就是沒有空，且不缺皮，兩者都是不缺點。沒有孔指內部不缺點，不缺皮指邊界上不缺點，不缺皮指邊界上不缺點。從這一點上講，乙個空間完備同乙個集合的閉包類似。這一類似還體現在以下定理中，完備空間的閉子集是完備的。

如何理解再生希爾伯特空間

由核函式k和無窮個輸入樣本x, y 構成的核矩陣k(x, y)的基向量（無窮維，無數個）構成乙個希爾伯特空間。

這個希爾伯特空間這樣的特點。

這個是將x對映到第i維的值。對映是無窮個基函式，帶入x，這樣就將有限維x，對映到乙個無限維度的向量。比如傅利葉級數。

k(x, ·)表示核矩陣的第x行，即將x對映到希爾伯特空間所對應的無窮維的向量。至於怎麼對映的，這個對映函式很難得到。比如傅利葉級數，就是投影到

每個三角函式上。

要計算第x行和第y行的內積，雖然我們很難得到對映，不好計算，但是我們可以根據再生性，直接通過核函式計算得到。

如何理解核函式

核函式判定方法有兩個。

函式對應的gram矩陣半正定，並對稱，則是核函式。這是充分條件。

下面展示了由內積形式推出k是半正定的過程。

常用的核。

如何說明高斯核就是半正定的

上面泰勒展開式，最後一行第二個求和符號多餘。還以第二個式子，x改成y。這樣從0都+無窮的求和，相當於兩個無窮維向量的內積。