K 近鄰演算法 1

定義：採用測量不同特徵值之間的距離方法進行分類

優點：精度高，對異常值不敏感，無資料輸入的限定

缺點：計算複雜度與空間複雜度都相對較高

試用資料範圍：數值型和標稱型

何為標稱：標稱型目標變數的結果只在有限目標集合中取值，如真與假。*（離散）

工作原理：存在乙個樣本資料集合（訓練樣本集），並且樣本集這種每個資料都存在標籤，即我們知道樣本集中每乙個資料與所述分類的對應關係，輸入沒有分類的標籤資料後，將新資料的每個特徵與樣本集中資料對應的特徵進行比較。然後演算法提取樣本集中特徵最相似資料（最近鄰）的分類標籤。一般來說，我們只選擇樣本資料集中前k個最相似的資料，通常k是不大於20的整數。最後再選擇k個最相似資料中出現次數最多的分類，作為新資料的分類。

**篇：

knn.py

from numpy import *
import operator
# operator是運算子模組
def createdataset():
"""該函式用於建立資料集合標籤"""
group = array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]])
labels = ['a', 'a', 'b', 'b']
return group, labels
def classify0(inx, dataset, labels, k):
datasetsize = dataset.shape[0] # .shape 為矩陣的長度 在4×2的矩陣c, c.shape[1] 為第一維的長度，c.shape[0] 為第二維的長度。
"""tile(a,reps)字面意思：將a矩陣（其他資料型別）重複reps次 
例如tile((1,2,3),3)==>array([1, 2, 3, 1, 2, 3, 1, 2, 3])
如果是b=[1,3,5]
tile(b,[2,3])
array([[1, 3, 5, 1, 3, 5, 1, 3, 5],
[1, 3, 5, 1, 3, 5, 1, 3, 5]]) 2指的是重複後矩陣的行數，而3指的是重複次數
就如這裡一樣
"""diffmat = tile(inx, (datasetsize, 1)) - dataset # title([0,0],(4,1)) ==>[[0 0],[0 0],[0 0],[0 0]]
sqdiffmat = diffmat ** 2 # 計算距離
"""平時用的sum應該是預設的axis=0 就是普通的相加 
axis=1以後就是將乙個矩陣的每一行向量相加
"""sqdistances = sqdiffmat.sum(axis=1)
distances = sqdistances ** 0.5
sortdistindicies = distances.argsort()
classcount = {}
for i in range(k):
voteilabel = labels[sortdistindicies[i]]
classcount[voteilabel] = classcount.get(voteilabel, 0) + 1
sortedclasscount = sorted(classcount.items(), key=operator.itemgetter(1), reverse=true)
return sortedclasscount[0][0]

main.py

import knn
from numpy import *
group, labels = knn.createdataset()
print(knn.classify0([1, 1], group, labels, 3))
# 測試tile
# print(tile([0, 0], (4, 1)))
# 測試sum
# a = array([[0, 1, 2], [3, 4, 5]])
# a=mat(a)
# print(a.sum(axis=1))
# 測試shape
# e = eye(4)
# print(e)
# print(e.shape[1])

K 近鄰演算法 1

演算法1 k 近鄰

k 近鄰演算法

K 近鄰演算法

K 近鄰演算法 1

演算法1 k 近鄰

k 近鄰演算法

K 近鄰演算法

相關推薦