自己最近在學習機器學習方面的知識，記錄一下自己的學習過程。最要針對**中的思路，函式進行一些學習分析，達到自己學習的目的。
1.k-近鄰演算法：採用測量不同特徵值之間的距離方法進行分類。
2.優缺點
優點：精度高，對異常值不敏感，無資料輸入假定。
缺點：計算複雜度高，空間複雜度高
適用資料範圍：數值型個標稱型
3.所需計算公式：歐氏距離
4.knn分類演算法
計算資料集中點與當前點的距離。
按照距離進行遞增次序排序。
選取距離最近的k個點
統計k個點中每種情況出現的頻率
確定k個點**現頻率最高的類別，作為分類
import operator
from numpy import
*from numpy import tile, zeros, array
defcreatedata()
: group = array([[
1.,1.1],
[1.,
1.],
[0.,
0.],
[0.,
0.1],]
) label =
['a'
,'a'
,'b'
,'b'
]return group, label
defclassify0
(inx, dataset, labels, k)
:"""
k臨近演算法
:param inx:
:param dataset:
:param labels:
:param k:
:return:
"""# 獲得資料集的個數
datasetsize = dataset.shape[0]
# 計算 目標點 和資料集之間各點的距離
diffmat = tile(inx,
(datasetsize,1)
)- dataset
sqdiffmat = diffmat**
2 sqdistance = sqdiffmat.
sum(axis=1)
distance = sqdistance**
0.5print
("distance:"
, distance)
# 排序 返回排序的索引
sortedistindicies = distance.argsort(
)print
("sortedistindicies:"
, sortedistindicies)
# 找到k個最近的點，比較，選擇最優解
classcount =
# 儲存k個範圍內 每種類別個數量 進行比較
for i in
range
(k):
# 通過下標找到對應的標籤元素
voteilabel = labels[sortedistindicies[i]
] classcount[voteilabel]
= classcount.get(voteilabel,0)
+1print
(f"classcount"
, classcount)
# 通過第二個元素，逆序排序（大->小）
sortedclasscount =
sorted
(classcount.items(),
key=operator.itemgetter(1)
, reverse=
true
)print
(sortedclasscount)
return sortedclasscount[0]
[0]def
autonorm
(dataset)
:"""
歸一化,當元素過大時使用
"""#選取每一列的最大最小值
minvals = dataset.
min(0)
maxvals = dataset.
max(0)
# 計算範圍值
ranges = maxvals - minvals
normdataset = zeros(shape(dataset)
) m = dataset.shape[0]
#當前值與最小值的差
normdataset = dataset - tile(minvals,
(m,1))
#相除，歸一
normdataset = normdataset/tile(ranges,
(m,1))
return normdataset, ranges, minvals
if __name__ ==
'__main__'
: data, label = createdata(
)print
(classify0([1
,1], data, label,3)
)
總體來說k-近鄰演算法思路較為簡潔，便於理解。但在使用演算法時需要有接近實際的訓練樣本資料。k-近鄰演算法必須儲存全部的資料集，資料量過大時需要使用大量的儲存空間。計算耗時。
k 近鄰演算法
此文章參考機器學習實戰一書，具體的理論知識可以參考該書。本文的初衷只是為了做乙個複習，將學過的知識加以整理，其中不免有一定的錯誤。2.k 近鄰演算法的原理介紹 k 近鄰演算法通過測量不同的特徵值之間的距離進行分類。它的工作原理如下 存在乙個樣本的資料集合，也成為訓練樣本集合。並且樣本集中的每個資料都...
K 近鄰演算法
k 近鄰演算法採用測量不同特徵值之間的距離方法進行分類。優點 精度高 對異常值不敏感 無資料輸入假定 缺點 計算複雜度高 空間複雜度高 適用資料範圍 數值型和標稱型 工作原理 存在乙個樣本資料集合，也稱作訓練樣本集，並且樣本集中每個資料都存在標籤，即我們知道樣本集中每一資料與所屬分類的對應關係。輸入...
K 近鄰演算法
首先，我們將 k 近鄰演算法的基本理論 其次我們將使用python從文字檔案中匯入並解析資料 再次，討論當存在許多資料 的時，如何避免計算距離時可能碰到的一些常見錯誤 最後，利用實際的例子講解如何使用k 近鄰演算法改進約會 1.1 knn演算法 工作原理 存在乙個樣本資料集合，也稱作訓練樣本集，並且...