lda也是一種線性變換，其整個證明過程與pca非常相似，找到目標函式，利用特徵值，但是其跟pca的目標是不同的，pca目的是在新座標系中方差最大，lda則是在新座標系中，類內方差盡量小，類間距離盡量大，並以這兩個指標定義乙個目標函式，通過最大化這個目標函式然後得到相應的對映方法，即新座標系；
這兩者本質原理類似，都是線性對映，但是目標不同；lda是有標籤的訓練方法，使得對映以後更容易判決！
lda與pca可以聯絡起來用，先pca降維，再lda找到乙個新的座標系，然後將資料在新座標系上進行判決！
白話機器學習演算法（二）KNN
knn是一種分類演算法，在現實生活中，我們看乙個人怎麼樣，可以看他的朋友怎麼樣，至少說這樣推斷的可信度比較高 knn就是這種思想。1 初始化輸入為有標籤樣本 2 當我們得到乙個新樣本的時候，我們就看這個新樣本的半徑為r的周圍，各種有標籤樣本的比例，哪種標籤佔的比例最高，我們就給這個新樣本打上這個標籤...
白話機器學習演算法（四）K means
k means演算法是一種無監督聚類演算法，還是打個比方吧 1 現在房間裡有一群人，各自隨機站在房間裡，這時候有個上帝，隨機挑選了房間裡k個人當k個小組的領導 2 選完領導，每個人開始站隊了，找離自己最近的那個領導，表示自己是那一隊的 3 站完隊，大家開始不滿了，要求重新選領導，選誰？選這一小組的中...
白話機器學習演算法（十九）CART演算法
cart classification and regression tree 分類與回歸樹演算法 前面說的決策樹就是分類樹，分類樹是一種對空間的劃分方法，將輸入空間 特徵空間 按照屬性的取值範圍劃分為若干個不相交的區域 這裡的cart是一種二叉樹 還是三個步驟 1 屬性選擇 2 生成樹 劃分 3 ...