lda是一種降維的演算法，也可以用來做特徵選擇和聚類。以二維平面為例，平面上有2類樣本點，我們希望將二維平面上的2類樣本點投影到一條直線上，從二維到一維，這可不就降維了嗎？那麼怎麼找到最合適的投影的直線呢？我們期望的目標是，投影之後，同類之間靠得更近，異類之間離得更遠，也就是類內小，類間大。lda的思想不是太難，也不涉及太難的理論原則，所以下面我們直接進入稍微麻煩一點的公式推導。
在西瓜書上看到一句話：「lda可從貝葉斯決策理論的角度來闡釋，並可證明，當兩類資料同先驗、滿足高斯分布並且協方差相等時，lda可達到最優分類。」。沒能理解。
機器學習 Softmax推導
lr可以看成是softmax的特例。lr主要是用於二分類，如果面臨的是多分類問題，可以用softmax。softmax通常也是深度學習影象識別網路的最後一層。在lr中，引數 是乙個向量，而在softmax中，引數可以看成是乙個矩陣。也就是每乙個輸出都對應著乙個引數向量 h xi p yi 1 x i...
機器學習 模型推導
支援向量機通俗導論 理解svm的三層境界 最大熵模型中的數學推導 em演算法的兩個理解角度 資料探勘領域十大經典演算法之 em演算法 如何通俗地講解 viterbi 演算法？通俗理解lda主題模型 從拉普拉斯矩陣說到譜聚類 從貝葉斯方法談到貝葉斯網路 cnn筆記 通俗理解卷積神經網路 程式設計師面試...
機器學習 LDA與PCA演算法
linear discriminant analysis 用途 資料預處理中的降維，分類任務 歷史 ronald a.fisher在1936年提出了線性判別方法 線性判別分析 lda 目標 lda關心的是能夠最大化類間區分度的座標軸成分 將特徵空間 資料集中的多維樣本 投影到乙個維度更小的 k 維子...