K 近鄰演算法

k-近鄰演算法是一種分類方法，其基本思想是：給定一堆  樣本（特徵） - 標籤  資料集，對於新的只有特徵的測試樣本，選擇有標籤資料集中與測試樣本距離最近的k個樣本，然後取這k個樣本中樣本數量最多的標籤作為測試樣本的標籤。

def classify0(inx,dataset,labels,k):            #inx：用於分類的輸入向量

datasetsize = dataset.shape[0]              #樣本資料集的大小（個數），一行表示乙個樣本，不同列表示不同特徵
diffmat = tile(inx,(datasetsize,1)) - dataset   
#將待測試樣本複製，複製後的矩陣行列等於訓練樣本集，這樣利用矩陣減法運算
sqdiffmat = diffmat ** 2                        #特徵差值的平方
sqdistances = sqdiffmat.sum(axis=1)             #對特徵差值的平方求和
distances = sqdistances ** 0.5
sorteddisrindicies = distances.argsort()        
#按距離從小到大的是順序排列，輸出結果距離資料值對應的索引
classcount = {}                                    #用來儲存前k個樣本的索引和標籤
for i in range(k):
voteilabel = labels[sorteddisrindicies[i]]       #找到上上面索引列表對應的標籤
classcount[voteilabel] = classcount.get(voteilabel,0) + 1       
#如果classcount中有索引對應的標籤，則該標籤（字典鍵）對應的值+1
sortedclasscount = sorted(classcount.iteritems(),key = operator.itemgetter(1),reverse = true)
#iteritems用於生成列表從而排序；itemgetter(1) 表示對列表按第1th屬性排序；降序（某個標籤個數）排列
return sortedclasscount[0][0]                       #返回數量最多的標籤

2.1.1 函式

（1）tile()  複製函式

函式格式tile(a,reps)  // a待複製矩陣 ；reps：複製格式

（2）sum(axis=1)    //按第1軸求和（按列）

sum(sxis=0)    //按第0軸求和（按行）

（3）argsort（x)    //將x中的元素從小到大排列，並返回元素對應的索引值

argsort(-x)     //將x中的元素從大到小排列，並返回元素對應的索引

（4）dict.get

(key
,default
=none
) //返回元胞鍵對應的值，如果元胞中沒有相應的鍵，則返回預設值

（5）iteritems         //將字典以列表的形式輸出

k 近鄰演算法

此文章參考機器學習實戰一書，具體的理論知識可以參考該書。本文的初衷只是為了做乙個複習，將學過的知識加以整理，其中不免有一定的錯誤。2.k 近鄰演算法的原理介紹 k 近鄰演算法通過測量不同的特徵值之間的距離進行分類。它的工作原理如下 存在乙個樣本的資料集合，也成為訓練樣本集合。並且樣本集中的每個資料都...

K 近鄰演算法

k 近鄰演算法採用測量不同特徵值之間的距離方法進行分類。優點 精度高 對異常值不敏感 無資料輸入假定 缺點 計算複雜度高 空間複雜度高 適用資料範圍 數值型和標稱型 工作原理 存在乙個樣本資料集合，也稱作訓練樣本集，並且樣本集中每個資料都存在標籤，即我們知道樣本集中每一資料與所屬分類的對應關係。輸入...

K 近鄰演算法

首先，我們將 k 近鄰演算法的基本理論 其次我們將使用python從文字檔案中匯入並解析資料 再次，討論當存在許多資料 的時，如何避免計算距離時可能碰到的一些常見錯誤 最後，利用實際的例子講解如何使用k 近鄰演算法改進約會 1.1 knn演算法 工作原理 存在乙個樣本資料集合，也稱作訓練樣本集，並且...