knn（k近鄰演算法）

knn演算法實際上是利用訓練資料集對特徵向量空間進行劃分，並作為其分類的模型。其輸入是例項的特徵向量，輸出為例項的類別。尋找最近的k個資料，推測新資料的分類。

對於上面的這個散點圖，已知的點是分布在乙個二維空間的，當然，在實際生活中，情況會變得複雜，可能是多維的。這個例子表示的是腫瘤病人的相關資訊，橫軸表示腫瘤的大小，縱軸表示腫瘤發現的時間，這兩個軸均是病人腫瘤的特徵資訊。紅色的點表示良性腫瘤，藍色的表示惡性，表示的是腫瘤的分類。

有了這些初始資訊，假如這個時候來了一條新的腫瘤特徵資訊，我們就可以通過knn演算法來對其分類進行**：

首先我們會取乙個k值，假如這裡k=3（k如何取值後面會提到）。接下來要做的就是在所有的點中選擇離這個新的點最近的三個點，然後這三個點根據自己的分類進行投票，這裡的話三個點都是惡性腫瘤，所以根據惡性對良性3：0推測這個新的點也是惡性腫瘤。

knn演算法的本質其實是認為兩個樣本如果他們足夠相似的話，那麼他們就具有更高的概率屬於同一類別。這裡我們通過計算兩個樣本在樣本空間中的距離來衡量他們的相似度。

計算距離

計算待求點與其他點之間的距離（常用歐幾里得距離或馬氏距離）

公升序排列

將計算的距離按照公升序排列，即距離越近越靠前

取前k個

加權平均

import pandas as pd
import random
from collections import counter
# 讀取資料
file_data = pd.read_csv(
"./_cancer.csv"
).to_dict(orient=
"records"
)# 分組：測試集（少量）、訓練集--(確保演算法是有效的、可行的)
# 避免偶然情況，先將資料集打亂
random.shuffle(file_data)
test_set = file_data[
:len
(file_data)//3
]train_set = file_data[
len(file_data)//3
:]# 計算距離（這裡使用歐氏距離）
defdistance
(p1, p2)
: res =
0for key in
("radius"
,"texture"
,"perimeter"
,"area"
,"smoothness"
,"compactness"
,"symmetry"
,"fractal_dimension"):
res +=
(p1[key]
- p2[key])**
2return res **
0.5k =
5#這裡取k=5
# knn
defknn
(new_data)
:# 1.計算距離
res =
[for
train_data in train_set]
# 2.公升序排列
res =
sorted
(res, key=
lambda item: item[
"distance"])
# 3.取前k個
res = res[
:k]# 4.投票選舉（也可以加權平均）
res_list =
[item[
"diagnosis_result"
]for item in res]
votes = counter(res_list)
return votes.most_common(1)
[0][
0]# 測試
correct =
0for test in test_set:
if test[
"diagnosis_result"
]== knn(test)
: correct +=
1print
("正確率 = %"
.format
((correct /
len(test_set))*
100)
)

100條資料測得準確率在80%左

knn（k近鄰演算法）

KNN k近鄰演算法

kNN（k近鄰演算法）

kNN k近鄰演算法

knn（k近鄰演算法）

KNN k近鄰演算法

kNN（k近鄰演算法）

kNN k近鄰演算法

相關推薦