機器學習 3(k 進鄰演算法簡介)

2021-08-29 07:14:25 字數 614 閱讀 2607

先簡單介紹一下k-進鄰演算法:採用測量不同特徵值之間的距離方法進行分類,ok,它是屬於監督學習了

優點:精度高,對異常值不敏感,無資料輸入假定

缺點:計算複雜度高,空間複雜度高

適用資料範圍:數值型標稱型

在介紹這個演算法之前,先介紹一點基礎的數學概念,這個是會在後面用到的,我這裡就盡量用白話給大家介紹

矩陣:你可以理解為乙個二維陣列,裡面可能有實數和複數。如下圖

單位矩陣   就是對角線為非0,其他為0的矩陣,如下圖

再介紹下矩陣乘法 

滿足條件 :  a,b為2個矩陣,a的行數等於b的列數或者相反,則可以相乘

乘法規則是c=ab,則c的m行n列等於a的m行各個元素乘以b的n列各個元素

再介紹乙個就是矩陣和它的逆矩陣相乘,等於單位矩陣

ok,暫時先介紹到這,下一節我們以實際例子來講解k-近鄰演算法

機器學習(一)k 進鄰演算法

概述 原理 存在乙個樣本資料集合,也稱作為訓練樣本集,並且樣本集中每個資料都存在標籤,即我們知道樣本集中每乙個資料與所屬分類的對應關係。輸入沒有標籤的新資料後,將新的資料的每個特徵與樣本集中資料對應的特徵進行比較,然後演算法提取樣本最相似資料 最近鄰 的分類標籤。一般來說,我們只選擇樣本資料集中前k...

機器學習演算法總結3 k近鄰法

k近鄰法 k nn 是一種基本分類與回歸方法。演算法思想 給定乙個訓練資料集,對新的輸入例項,在訓練資料集中找到與其最鄰近的k個例項,這k個例項的多數屬於某個類,就把該輸入例項分為哪個類。k近鄰的特殊情況是k 1的情形,稱為最近鄰演算法。k近鄰演算法沒有顯式的學習過程。1.模型 k近鄰法使用的模型對...

3 K均值演算法

2 自主編寫k means演算法 以鳶尾花花瓣長度資料做聚類,並用散點圖顯示。加分題 1 import numpy as np 2from sklearn.datasets import load iris 3import matplotlib.pyplot as plt 45 iris load ...