KNN（一）簡單KNN原理及實現

原文：

1. knn演算法介紹：

鄰近演算法，或者說k最近鄰(knn，k-nearestneighbor)分類演算法可以說是整個資料探勘分類技術中最簡單的方法了。所謂k最近鄰，就是k個最近的鄰居的意思，說的是每個樣本都可以用她最接近的k個鄰居來代表。

knn演算法的核心思想是如果乙個樣本在特徵空間中的k個最相鄰的樣本中的大多數屬於某乙個類別，則該樣本也屬於這個類別，並具有這個類別上樣本的特性。該方法在確定分類決策上只依據最鄰近的乙個或者幾個樣本的類別來決定待分樣本所屬的類別。

右圖中，綠色圓要被決定賦予哪個類，是紅色三角形還是藍色四方形？如果k=3，由於紅色三角形所佔比例為2/3，綠色圓將被賦予紅色三角形那個類，如果k=5，由於藍色四方形比例為3/5，因此綠色圓被賦予藍色四方形類。 ![圖1

knn演算法的決策過程

k最近鄰(k-nearest neighbor，knn)分類演算法，是乙個理論上比較成熟的方法，也是最簡單的機器學習演算法之一。該方法的思路是：如果乙個樣本在特徵空間中的k個最相似(即特徵空間中最鄰近)的樣本中的大多數屬於某乙個類別，則該樣本也屬於這個類別。knn演算法中，所選擇的鄰居都是已經正確分類的物件。該方法在定類決策上只依據最鄰近的乙個或者幾個樣本的類別來決定待分樣本所屬的類別。 knn方法雖然從原理上也依賴於極限定理，但在類別決策時，只與極少量的相鄰樣本有關。由於knn方法主要靠周圍有限的鄰近的樣本，而不是靠判別類域的方法來確定所屬類別的，因此對於類域的交叉或重疊較多的待分樣本集來說，knn方法較其他方法更為適合。

knn演算法不僅可以用於分類，還可以用於回歸。通過找出乙個樣本的k個最近鄰居，將這些鄰居的屬性的平均值賦給該樣本，就可以得到該樣本的屬性。更有用的方法是將不同距離的鄰居對該樣本產生的影響給予不同的權值(weight)，如權值與距離成反比。

[cpp]view plain

copy

?#include 「ml.h」

#include 「highgui.h」

int main(int argc, char** argv)

// highlight the pixel depending on the accuracy (or confidence)

cvset2d(img, i, j, response == 1 ?

(accuracy > 5 ? cv_rgb(180, 0, 0) : cv_rgb(180, 120, 0)) :

(accuracy > 5 ? cv_rgb(0, 180, 0) : cv_rgb(120, 120, 0)));

} }

// display the original training samples

for (i = 0; i

cvnamedwindow(」classifier result」, 1);

cvshowimage(」classifier result」, img);

cvwaitkey(0);

cvreleasemat(&trainclasses);

cvreleasemat(&traindata);

return 0;

}

KNN（一）簡單KNN原理及實現

KNN（一）簡單KNN原理及實現

KNN簡單實現

KNN應用及演算法簡單實現

KNN（一） 簡單KNN原理及實現

KNN（一） 簡單KNN原理及實現

KNN簡單實現

KNN應用及演算法簡單實現

相關推薦

KNN（一）簡單KNN原理及實現

KNN（一）簡單KNN原理及實現