K 近鄰演算法

2021-08-02 13:32:06 字數 3329 閱讀 2844

#inx @ 需要判斷的輸入向量

#dataset @ 已知的樣本集

#labels @ 樣本集的標籤(分類)向量

#k @ 最相近的幾個值

defclassify0

(inx, dataset, labels, k):

#計算距離

datasetsize = dataset.shape[0]

diffmat = np.tile(inx, (datasetsize,1)) - dataset

sqdiffmat = diffmat**2

sqdistances = sqdiffmat.sum(axis=1)

distances = sqdistances ** 0.5

sorteddistindicies = distances.argsort()

classcount = {}

#距離最小的k個點

for i in range(k):

voteilabel = labels[sorteddistindicies[i]]

classcount[voteilabel] = classcount.get(voteilabel, 0) + 1

sortedclasscount = sorted(classcount.items(),

key=operator.itemgetter(1), reverse=true)

return sortedclasscount[0][0]

在計算中,我們發現有些數字差值對結果影響比較大,例如: d=

(0−67

)2+(

20000

−32000)2

+(1.1−

0.1)2)

−−−−

−−−−

−−−−

−−−−

−−−−

−−−−

−−−−

−−−−

−−−√

為了消除這種影響,常採用數值歸一化處理,將取值範圍處理為[0,1]或[-1, 1]之間。

計算公式如下: ne

wval

ue=o

ldva

lue−

minm

ax−m

in下面有一些常用函式:

array.shape 函式

#返回多維陣列的維數

arrary.shape

#返回行數

array.shape[0]

#返回列數

array.shape[1]

array.tile 函式

格式:tile(a,reps)

* a:array_like

* 輸入的array

* reps:array_like

* a沿各個維度重複的次數

a=[1,2]

tile(a,2)

# 結果:[1,2,1,2]

tile(a, (2,3))

#結果:[[1,2,1,2,1,2], [1,2,1,2,1,2]]

tile(a, (2,2,3))

#結果:[[[1,2,1,2,1,2], [1,2,1,2,1,2]],

[[1,2,1,2,1,2], [1,2,1,2,1,2]]]

reps的數字從後往前分別對應a的第n個維度的重複次數。

tile(a, 2)表示a的第乙個維度(行)重複2遍,

tile(a, (2,3))表示a的第乙個維度(列)重複3遍,然後第二個維度(行)重複2遍,

tile(a, (2,2,3))表示a的第乙個維度重複3遍,第二個維度重複2遍,第三個維度重複2遍。

array.sum(axis=1)

將乙個矩陣的每一行向量相加

a = np.array([[0, 2, 1]])

print a.sum()

print a.sum(axis=0)

print a.sum(axis=1)

結果分別是:3, [0

12], [3]

b = np.array([0, 2, 1])

print b.sum()

print b.sum(axis=0)

print b.sum(axis=1)

結果分別是:3, 3, 執行錯誤:'axis' entry is out of bounds

可知:對一維陣列,只有第0軸,沒有第1軸

c = np.array([[0, 2, 1], [3, 5, 6], [0, 1, 1]])

print c.sum()

print c.sum(axis=0)

print c.sum(axis=1)

結果分別是:19, [3

88], [ 3

142]

axis=0, 表示列。

axis=1, 表示行。

str.split()

通過指定分割符對字串進行切片,返回字串列表

string = "www.gziscas.com.cn"

# 以'.'為分隔符

print(string.split('.'))

['www', 'gziscas', 'com', 'cn']

陣列的切片

陣列中的最大,最小值

array.min(0) #陣列中每一列的最小值

[第一列的最小值,第二列的最小值,第三列的最小值,......]

array.max(0) #最大值

使用 r 進行不轉義字串

myfile = open('c:\new\text.dat', 'w')

#這樣的話會被誤認為\n為換行符、\t為製表符、而被轉義、

#因此可以加上個r、表示raw字元、不進行轉義

myfile = open(r'c:\new\text.dat', 'w')

另一種方法是用 『/』 來代替 『\』

myfile = open('c:/new/text.dat', 'w')

k 近鄰演算法

此文章參考機器學習實戰一書,具體的理論知識可以參考該書。本文的初衷只是為了做乙個複習,將學過的知識加以整理,其中不免有一定的錯誤。2.k 近鄰演算法的原理介紹 k 近鄰演算法通過測量不同的特徵值之間的距離進行分類。它的工作原理如下 存在乙個樣本的資料集合,也成為訓練樣本集合。並且樣本集中的每個資料都...

K 近鄰演算法

k 近鄰演算法採用測量不同特徵值之間的距離方法進行分類。優點 精度高 對異常值不敏感 無資料輸入假定 缺點 計算複雜度高 空間複雜度高 適用資料範圍 數值型和標稱型 工作原理 存在乙個樣本資料集合,也稱作訓練樣本集,並且樣本集中每個資料都存在標籤,即我們知道樣本集中每一資料與所屬分類的對應關係。輸入...

K 近鄰演算法

首先,我們將 k 近鄰演算法的基本理論 其次我們將使用python從文字檔案中匯入並解析資料 再次,討論當存在許多資料 的時,如何避免計算距離時可能碰到的一些常見錯誤 最後,利用實際的例子講解如何使用k 近鄰演算法改進約會 1.1 knn演算法 工作原理 存在乙個樣本資料集合,也稱作訓練樣本集,並且...