K 近鄰演算法

k-近鄰演算法簡單、直觀：給定乙個訓練資料集，對新的輸入例項，在訓練資料集中找到與該例項最鄰近的k個例項，這k個例項的多數屬於某個類，就把該輸入例項分為這個類。

優點：精度高、對異常值不敏感、無資料輸入假定。

缺點：計算複雜度高、空間複雜度高。

適用資料範圍：數值型和標稱型（只在有限目標集中取值，如真與假，常用於分類問題。）。

輸入：訓練資料集t=

。其中，xi

∈χ⊆r

n 為例項的特徵向量，yi

∈y= 為例項的類別，i=

1,2,

…,n ；例項特徵向量

x ；

輸出：例項

x所屬的類

y 。

(1) 根據給定的距離度量，在訓練集t中找出與x最鄰近的k個點，涵蓋這k個點的x的鄰域記作nk

(x)；

(2) 在nk

(x) 中根據分類決策規則（如多數表決）決定x的類別y：y=

argmaxcj

∑xi∈

nk(x

)i(y

i=cj

),i=

1,2,

…,n;

j=1,

2,…,

k 其中，

i 為指示函式，即當yi

=cj時

i 為1，否則

i為0。

def

createdataset
():'''
建立帶標籤的資料集
:return: 返回訓練集和標籤
'''# 4*2的特徵變數矩陣
group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]])
labels = ['a', 'a', 'b', 'b']
return group, labels

演算法偽**如下：

(1) 計算已知類別資料集中的點與當前點之間的距離；

(2) 按照距離遞增次序排列；

(3) 選取與當前點距離最小的k個點；

(4) 確定前k個點所在類別的出現頻率；

(5) 返回前k個點出現頻率最高的類別作為當前點的**分類。

def

classify0
(inx, dataset, labels, k):
''' knn演算法
:param inx: 用於分類的輸入向量
:param dataset: 訓練集
:param labels: 標籤向量
:param k: 用於選擇最近鄰居的數目
:return: 返回分類類別
'''# 距離計算
datasetsize = dataset.shape[0] # 讀取dataset的第一維長度
diffmat = tile(inx, (datasetsize, 1)) - dataset
sqdiffmat = diffmat ** 2
sqdistances = sqdiffmat.sum(axis=1) # 對矩陣的每一行求和
distances = sqdistances ** 0.5
# 將資料按照距離從小到大排序
sorteddistindicies = distances.argsort()
classcount = {}
# 選擇距離最小的k個點
for i in range(k):
voteilabel = labels[sorteddistindicies[i]]
classcount[voteilabel] = classcount.get(voteilabel, 0) + 1
# 按照字典的第二個元素的大小對排序，此為逆序
sortedclasscount = sorted(classcount.iteritems(), key=operator.itemgetter(1), reverse=true)
return sortedclasscount[0][0]

if __name__ == '__main__':

# knn演算法實現
group, labels = createdataset()
label = classify0([0, 0], group, labels, 3)
print label

b

k 近鄰演算法

此文章參考機器學習實戰一書，具體的理論知識可以參考該書。本文的初衷只是為了做乙個複習，將學過的知識加以整理，其中不免有一定的錯誤。2.k 近鄰演算法的原理介紹 k 近鄰演算法通過測量不同的特徵值之間的距離進行分類。它的工作原理如下 存在乙個樣本的資料集合，也成為訓練樣本集合。並且樣本集中的每個資料都...

K 近鄰演算法

k 近鄰演算法採用測量不同特徵值之間的距離方法進行分類。優點 精度高 對異常值不敏感 無資料輸入假定 缺點 計算複雜度高 空間複雜度高 適用資料範圍 數值型和標稱型 工作原理 存在乙個樣本資料集合，也稱作訓練樣本集，並且樣本集中每個資料都存在標籤，即我們知道樣本集中每一資料與所屬分類的對應關係。輸入...

K 近鄰演算法

首先，我們將 k 近鄰演算法的基本理論 其次我們將使用python從文字檔案中匯入並解析資料 再次，討論當存在許多資料 的時，如何避免計算距離時可能碰到的一些常見錯誤 最後，利用實際的例子講解如何使用k 近鄰演算法改進約會 1.1 knn演算法 工作原理 存在乙個樣本資料集合，也稱作訓練樣本集，並且...