一. 流形學習的英文名為manifold learning。其主要思想是把乙個高維的資料非線性對映到低維，該低維資料能夠反映高維資料的本質，當然有乙個前提假設就是高維觀察資料存在流形結構，其優點是非引數，非線性，求解過程簡單。
二. 流形學習的可行性是因為：1.從認知心理學的角度來講心理學家認為人的認知過程是基於認知流形和拓撲連續性的；2.許多高維採用資料都是由少數幾個隱變數所決定的，所以可以用少數的低維資料來刻畫高維資料。
三. 流形學習所需的數學背景知識：微分流形，黎曼流形，微分幾何，切向量場，拓撲空間，光滑對映等。
四. 經典流形學習演算法：
isomap：等距對映。前提假設為低維空間中的歐式距離等於高維空間中的側地線距離，當然該演算法具體實施時是高維空間中較近點之間的測地線距離用歐式距離代替，較遠點距離用測地線距離用最短路徑逼近。
lle:區域性線性嵌入。前提假設是資料所在的低維流形在區域性是線性的，且每個取樣點均可以利用其近鄰樣本進行線性重構表示。
le：拉普拉斯特徵對映。前提假設是在高維中很近的點投影到低維空間中的象也應該離得很近。
hlle:區域性等距對映。前提假設是如果乙個流形區域性等距與歐式空間中的乙個開集，那麼由這個流形到開集的對映函式為乙個線性函式，線性函式的二次混合偏導數為0，所以由hessian係數構成的二次型也為0.
lpp:區域性保留投影。在le演算法的基礎上，假設乙個從原空間到流形空間的對映矩陣p，然後通過某種方法求出p，最後得到了乙個顯示的投影對映。
ltsa:區域性座標表示。其基本思想是流形的區域性幾何先用切座標表示，那麼流形中的每乙個點處的切空間可以和歐式空間中的乙個開子集建立同構，也就是切對映。
mvu:區域性等距。構造乙個區域性的稀疏歐式距離矩陣，同構保持距離來學習乙個核矩陣。
logmap:側地距離和方向。思想是已知流形空間中一點的座標和方向，通過切平面找到法座標，形成乙個指數對映。
五.流形學習存在的問題：
抗干擾雜訊能力差，低維空間的維數不好確定，需要存在流形結構這一假設，取樣需要稠密取樣，測試資料的out-of-samples問題。
六.流形學習未來的發展方向：
提高魯棒性，視覺化手段提高，低維空間維數的確定，與統計學習結合等。
1.中科院計算所ppt,《流形學習專題》。
2.中科院自動化所計算機視覺課件ppt,《流形學習》。
3.雷迎科 (2011). 流形學習演算法及其應用研究, 中國科學技術大學.
4.網上的瘋狂**(沒真實作者**)，通俗易懂。也放乙個**：
5. 徐蓉, 姜峰, et al. (2006). "流形學習概述." 智慧型系統學報 1(1): 44-51.
一些知識點的初步理解 7 隨機森林,ing
一些知識點的初步理解 7 隨機森林,ing.在機器學習中，隨機森林由許多的決策樹組成，因為這些決策樹的形成採用了隨機的方法，因此也叫做隨機決策樹。隨機森林中的樹之間是沒有關聯的。當測試資料進入隨機森林時，其實就是讓每一顆決策樹進行分類，最後取所有決策樹中分類結果最多的那類為最終的結果。因此隨機森林是...
一些知識點的初步理解 7 隨機森林,ing
在機器學習中，隨機森林由許多的決策樹組成，因為這些決策樹的形成採用了隨機的方法，因此也叫做隨機決策樹。隨機森林中的樹之間是沒有關聯的。當測試資料進入隨機森林時，其實就是讓每一顆決策樹進行分類，最後取所有決策樹中分類結果最多的那類為最終的結果。因此隨機森林是乙個包含多個決策樹的分類器，並且其輸出的類別...
一些知識點的初步理解 6 核函式,ing
在svm中經常聽說核函式，關於各種核函式的推導公式寫得天花亂墜。svm大概意思是說將低維不可分的樣本對映到高維空間中後就線性可分了，由於最後用訓練出來的模型進行分類 時需要求高維空間中對映特徵間的內積，而核函式的功能就是我們計算時不需要考慮高維空間的具體形式，降低了其計算複雜度。下面就簡單講講核函式...