#!/usr/bin/env python
# -*- coding:utf-8 -*-
# author: jia shilin
'''knn(k-nearest neighbor)演算法:
思想:利用已知標籤的樣本集,來分類未知標籤的新資料,將新資料的
每個特徵和樣本進行比較,提取出樣本集中特徵最相似的資料分類標籤
knn演算法的流程:
1計算測試資料與各個訓練資料之間的距離；一般為歐式距離
2按照距離的遞增關係進行排序；
3選取距離最小的k個點；
4確定前k個點所在類別的出現頻率；
5返回前k個點**現頻率最高的類別作為測試資料的**分類。
knn演算法的優缺點:
優點：簡單，易於理解，無需建模與訓練，易於實現；
適合對稀有事件進行分類；適合與多分類問題，例如根據基因特徵來判斷其功能分類，
knn比svm的表現要好。
缺點：惰性演算法，記憶體開銷大，對測試樣本分類時計算量大，效能較低；可解釋性差
，無法給出決策樹那樣的規則
KNN k近鄰演算法
現在假如我們已經擁有了一些資料 稱為訓練資料集 ts，並且擁有所有資料的類別名 即每條資料應該歸於哪個類別。當我們要判斷一條不知類別的資料時，首先讓這條資料m和已經擁有的所有的資料ts中的每一條資料進行比較，然後根據比較結果選擇出和m最相似 一般是基於距離 的k條資料 k是個整數，並且通常是小於20...
kNN（k近鄰演算法）
k近鄰分析 knn 一 概述 knn演算法是一種有監督學習的分類演算法。所謂有監督學習，就是在應用演算法之前我們必須準備一組訓練集，訓練集中的每個例項都是由一些特徵和乙個分類標籤組成 通常還會存在乙個測試集，用來測試訓練出來的分類模型的準確性。其實knn演算法並沒有體現出有監督學習的所有特點，沒有模...
kNN k近鄰演算法
一 knn演算法的思想 knn演算法作為機器學習演算法中非常有效比較容易掌握的演算法，其基本思想是採用測量不同特徵值之間的距離的方法進行分類。knn屬於監督學習演算法，它的工作原理是 存在乙個樣本資料集，訓練樣本集，並且樣本集中的每個資料都存在標籤，即我們知道樣本集中每乙個資料與所屬分類的對應關係。...