knn是一種分類演算法，在現實生活中，我們看乙個人怎麼樣，可以看他的朋友怎麼樣，至少說這樣推斷的可信度比較高；knn就是這種思想。
1：）初始化輸入為有標籤樣本；
2：）當我們得到乙個新樣本的時候，我們就看這個新樣本的半徑為r的周圍，各種有標籤樣本的比例，哪種標籤佔的比例最高，我們就給這個新樣本打上這個標籤，就是從這個樣本的「朋友」中來判斷這個樣本是哪一類！
上面說的思想，具體實現knn以及如何選擇k又是乙個問題，因為要找到最近的n個向量，當資料量特別大時，線性搜尋是個很耗時間的事情，也不現實，這裡就要涉及到kd樹的問題，這裡不詳細說，等以後有時間了再回來補充這裡的所有關於演算法的部落格，詳細**；
白話機器學習演算法（四）K means
k means演算法是一種無監督聚類演算法，還是打個比方吧 1 現在房間裡有一群人，各自隨機站在房間裡，這時候有個上帝，隨機挑選了房間裡k個人當k個小組的領導 2 選完領導，每個人開始站隊了，找離自己最近的那個領導，表示自己是那一隊的 3 站完隊，大家開始不滿了，要求重新選領導，選誰？選這一小組的中...
白話機器學習演算法（七）LDA
lda也是一種線性變換，其整個證明過程與pca非常相似，找到目標函式，利用特徵值，但是其跟pca的目標是不同的，pca目的是在新座標系中方差最大，lda則是在新座標系中，類內方差盡量小，類間距離盡量大，並以這兩個指標定義乙個目標函式，通過最大化這個目標函式然後得到相應的對映方法，即新座標系 這兩者本...
白話機器學習演算法（十九）CART演算法
cart classification and regression tree 分類與回歸樹演算法 前面說的決策樹就是分類樹，分類樹是一種對空間的劃分方法，將輸入空間 特徵空間 按照屬性的取值範圍劃分為若干個不相交的區域 這裡的cart是一種二叉樹 還是三個步驟 1 屬性選擇 2 生成樹 劃分 3 ...