最近在家重讀泛函分析，寫了一點自己粗淺的理解。我的參考書是peter d.lax的functional analysis
泛函分析的一部分內容，是在**無限維線性空間和有限維線性空間的異同點。其中有限維的賦範線性空間我們在數學分析和線性代數中學的差不多了，泛函分析主要考慮無限維賦範線性空間。
回憶數學分析講過，在有限維賦範線性空間中，列緊集就是簡簡單單的有界閉集，但現在無限維里有界閉並不列緊了（即無限維賦範線性空間中的單位閉球不列緊）。注意，我沒說有界閉不能推出列緊，而是有界閉推出不列緊。所以，單位球列緊和空間維數有限互相成為了充分必要條件。
這是乙個很有趣的結論，說明無限維空間並不像有限維那樣緻密。拿
單位閉球沒有了列緊性，但生活還是要繼續。乙個更妥協的性質是弱列緊。弱列緊，顧名思義，任何乙個數列都有弱收斂子列。
這裡必須講講弱收斂。
弱收斂只要求，數列在經過任意線性泛函的對映後，得到的實數列彼此之間很靠近，而不要求數列本身（在度量意義下）很靠近。就好像我們認為，網紅只需要在化妝和鏡頭的對映後好看就夠了，並不需要她肉眼觀測下很好看。肉眼觀測好看可以推導出鏡頭下好看，但反之不一定成立。成立的例子是馮提莫，不成立的例子是喬碧蘿。強弱都不收斂的例子是劉梓晨。
所以強收斂推出弱收斂，但弱收斂推不出強收斂。
弱列緊性在自反banach空間中取代了列緊性。用乙個定理來解釋這句話：
定理banach空間中的單位閉球是弱列緊的
那不自反的banach空間怎麼辦呢？我還沒看到那。
第二個是完備性問題。實數域和複數域都是完備的。推廣一下，就是
比如，設
這個空間並不是完備的，因為連續函式可以逼近lesbegue可積函式。 它的閉包就是
空間。不過在完備性上沒有太多文章可做。首先對於不完備的空間我們一般考慮它的閉包，也就是只考慮banach空間和hilbert空間；其次在涉及子空間時，我們一般用有限維子空間或閉的無限維子空間。
第三個是基的問題。線性代數在對
維線性空間的探索中，乙個很本質的思路是考慮空間的基。但在無限維的情況下，大多數時候無法取出一組基（只有可分的hilbert空間可以取出一組可數個正交基），這時候我們的辦法是佐恩引理（zorn's lemma）。以乙個經典定理為例：
定理設
是乙個線性空間，
是的子空間，則一定存在補空間
即一定存在子空間
，使得
也即 可以被唯一的分解成
分析當
是有限維線性空間時，我們用
的基來解決。這個證明過程在各大線性代數教材上都有，我簡述一下。在
內取一組基，記為
將這組基擴充成
的一組基
則 生成的子空間就是我們要找的
重點是無限維的情況。佐恩引理（zorn's lemma）能處理偏序集，且集合的包含關係顯然是乙個序關係，那麼思路就很清晰了：
考慮所有與
的交集為
的子空間
，記 是所有
的集合。則包含關係是
上的乙個偏序。對
中每乙個能形成全序的子集
而言，乙個自然的上界是
中所有子空間的並集。所以根據佐恩引理，
有乙個最大的元素，可以驗證這個最大的元就是我們要找的
說說我對這個證明的理解。補空間的意義是，找到
中沒有被
用掉的那一部分向量，在有限維的情況下也就是找到沒有被用過的一部分基。在無限維時不能再用基來考慮，這時候佐恩引理相當於說，只要能找到
沒有的向量，就能找到所有不在
中的。
l2空間的完備性 希爾伯特空間
希爾伯特空間是歐幾里德空間的直接推廣。定義設h是乙個實的線性空間，如果對h中的任何兩個向量x和y，都對應著乙個實數，記為 x，y 滿足下列條件 對h中的任何兩個向量x，y，有 x，y y，x 對h中的任何三個向量x y z及實數 有 x y，z x，z y，z 對h中的一切向量x，均有 x，x 0，...
向量的L2範數求導
回歸中最為基礎的方法,最小二乘法.begin j frac vec right quad end begin vec x x 1,cdots,x n vec x p left sum m right frac,space p infty end l 2 範數具體為 vec x 2 x 1 2 cdo...
L2正則化的TensorFlow實現
tensorflow實現l2正則化 tensorflow的最優化方法tf.train.gradientdescentoptimizer包辦了梯度下降 反向傳播，所以基於tensorflow實現l2正則化，並不能按照上節的演算法直接干預權重的更新，而要使用tensorflow方式 tf.add to ...