一看就懂的機器學習k 近鄰演算法（KNN）

基礎知識：

1，機器學習想相關概念：

2，機器學習和深度學習的應用：

3，機器學習型別

k-近鄰演算法（knn）是機器學習中的有監督學習中聚類模型

1，概念原理：k-近鄰演算法（k-nearest neighbour algorithm, knn），是資料探勘技術中原理最簡單的演算法。給定乙個已知標籤類別的訓練資料集，輸入沒有標籤的新資料後，在訓練資料集中找到與新資料最鄰近的k個例項，如果這k個例項中的多數屬於某個類別，那麼新資料就屬於這個類別。簡單理解為：由那些離x最近的k個點來投票決定x歸為哪一類。

舉個栗子：使用k-近鄰演算法分類乙個電影是愛情片還是動作片

在這個**中，每個電影有兩個特徵，我們可以通過人眼判斷出新電影屬於什麼型別，那如果是n個呢？這就需要k-近鄰演算法上場啦！

我們將**畫為散點圖如下：

通過觀察，從散點圖中大致判斷，新電影是愛情片。那knn演算法是如何判斷的呢？沒錯，就是距離！

二維平面兩點間距離公式：

n維空間兩點間距離公式：

通過計算我們可以得到訓練集中所有電影與未知電影的距離，如下表所示：

通過上表的計算結果，可以得出新電影到愛情片《後來的我們》距離最近，為29.1.如果僅僅根據這個結果，就判定新電影為愛情片，那這個演算法就叫最近鄰演算法，而非k-近鄰演算法、

k-近鄰演算法步驟如下：

2，k-近鄰演算法的python實現

#構建資料集
import pandas as pd
filmdata =
film_data = pd.dataframe(filmdata)
print
(film_data)
#計算已知類別中資料點與當前點的距離
new_data =[24
,67]dist =
list((
((film_data.iloc[:6
,1:3
]-new_data)**2
).sum(1)
)**0.5)
print
(dist)
#對距離進行排序，然後選擇距離最近的k個點
k =4
dist_l = pd.dataframe(
)dr = dist_l.sort_values(by=
'dist')[
:k]print
(dr)

3，封裝函式

import pandas as pd
filmdata =
film_data = pd.dataframe(filmdata)
new_data =[24
,67]'''
函式功能：knn分類器
引數說明：
inx: 需要進行**分類的資料集
dataset: 已知分類標籤的資料集（訓練集 ）
k: 超引數，選擇距離最小的k個點
返回： result: **分類結果
'''def
classify0
(inx,dataset,k)
: result =
dist =
list((
((dataset.iloc[:,
1:3]
- inx)**2
).sum(1)
)**0.5)
dist_l = pd.dataframe(
) dr = dist_l.sort_values(by=
'dist')[
:k] re = dr.loc[:,
'labels'
].value_counts()0
])return result
inx = new_data
dataset = film_data
k =4
print
( classify0(inx,dataset,k)
)

這就是我們使用k-近鄰演算法構建的乙個分類器，可以看出，分類器給的答案還是比較符合我們的預期的。

那麼問題來了：分類器給出的答案是否永遠都正確？答案一定是否定的，分類器並不會得到100%正確的結果，我們可以使用很多方法來驗證分類器的準確率。此外，分類器的效能會受到很多因素的影響，比如k的取值，就在很大程度上影響了分類器的**結果，還有分類器的設定、原始資料集等等。為了測試分類器的效果，我們可以把原始資料集分為兩部分，一部分用來訓練演算法，稱為訓練集；另一部分用來測試演算法的準確率，稱為測試集。我們不難發現，k-近鄰演算法沒有進行資料的訓練，直接使用未知的資料與已知的資料進行比較，得到結果，因此，k-近鄰演算法不具有顯示的學習過程。

4，總結

優點：

缺點：

一看就懂的機器學習k 近鄰演算法（KNN）

機器學習 k 近鄰演算法

機器學習 K近鄰演算法

機器學習 K近鄰演算法

一看就懂的 機器學習k 近鄰演算法（KNN）

機器學習 k 近鄰演算法

機器學習 K近鄰演算法

機器學習 K近鄰演算法

相關推薦

一看就懂的機器學習k 近鄰演算法（KNN）