本文結構如下：
線性降維方法
主成分分析法
線性判別法
奇異值分解法
因子分析法
非線性降維方法～～流形學習簡介
說到維度，其目的是用來進行特徵選擇和特徵提取，注意特徵選擇和特徵提取這二者的不同之處：
特徵選擇：選擇重要特徵子集，刪除其餘特徵。
特徵提取：由原始特徵形成較少的新特徵。
在特徵提取中，我們要找到k個新的維度的集合，這些維度是原來k個維度的組合，這個方法可以是監督的，也可以是非監督的，
pca-非監督的
lda（線性判別分析）-監督的
這兩個都是線性投影來進行降為的方法。
另外，因子分析，和多維標定（mds）也是非監督的線性降為方法
降維的作用：
降低時間複雜度和空間復
節省了提取不必要特徵的開銷
去掉資料集中夾雜的噪
較簡單的模型在小資料集上有更強的魯棒性
當資料能有較少的特徵進行解釋，我們可以更好 的解釋資料，使得我們可以提取知識。
實現資料視覺化
機器學習總結（四） 最優化方法
機器學習中所謂的訓練其實就是損失函式的優化過程，求損失函式的最優化解，主要是得靠一些常規套路，去一點一點地接近最優化目標。常用的有梯度下降法 牛頓法和擬牛頓法 共軛梯度法 啟發式優化方法 拉格朗日乘數法等。一 梯度下降法 gradient descent 梯度下降法實現的原理簡單，是最常用最簡單的最...
機器學習總結
1.常用的機器學習演算法包括 監督學習 半監督學習 無監督學習 增強學習 遺傳演算法 監督學習 就是人為的設定規則，告訴機械人該執行怎麼樣的行動。無監督學習就是不告訴機械人具體的實施辦法，只給定規則，讓機械人過程當中自己學習總結經驗 半監督學習就是結合少標籤的樣本和大量無標籤的樣本進行學習和分類 強...
機器學習總結
0機器學習概述 什麼是機器學習？機器學習的分類 兩種分類方式。機器學習的一般流程 模型訓練中的交叉驗證 將資料分為幾份，每份第一次訓練做訓練集，第二次做了測試集 機器學習的評價 混淆矩陣 auc roc 一 線性回歸 解析解的求解過程，要求自己推導 目標函式，過擬合，正則式 模型效果 mse rms...