k近鄰演算法
k近鄰模型解決的問題：二分類、多分類、回歸。
k近鄰模型適用條件：非線性可分，區域性資訊，用完後需要訓練集資料 儲存方法影響結果。沒有很強的假設。
k近鄰演算法的模型複雜度體現在哪？什麼情況下會造成過擬合？
模型複雜度體現在k值上
k值比較小的時候容易造成過擬合
k值比較大的時候容易造成欠擬合。
1.什麼是k近鄰，三要素 距離度量、k值選擇、分類決策規則
2.策略：損失函式
3.求解演算法
1.什麼是k近鄰，三要素 （距離度量、k值選擇、分類決策規則）
附近的k個點是什麼，那被**的點就是什麼。
模型 k近鄰方法是沒有顯示模型形式的。
鄰域裡是什麼，被**值就是什麼。
1.1距離度量
度量一般分三種
p=1,p=2,p=無窮 p=2就是歐式距離.
那麼其他兩種存在的意義是什麼？
1.2 k值選擇
應該怎麼選？
交叉驗證 分訓練集-驗證集 驗證集（真實類別）中選不同k值，對比後確定k值。
1.3分類決策規則
多數表決
找損失最小
2.策略：損失函式
3.求解演算法：kd樹
儲存資料的方法影響**結果。
統計學習方法 k近鄰法
k近鄰法 knn 是一種基本的分類與回歸方法 分類這種需求，滲透到我們生活的方方面面 分類演算法可以幫助我們完成這些繁瑣的操作，並根據我們的要求不斷修正分類結果。分類演算法其實蠻多的，這裡順著書本順序，詳細講解knn演算法，再與k means k means 演算法進行簡單對比。k近鄰法是這樣乙個過...
統計學習方法 K近鄰法
k近鄰演算法簡單 直觀給定乙個訓練資料集，對新的輸入例項，在訓練資料集中找到與該例項最鄰近的k個例項，這k個例項的多數屬於某個類，就把該輸入例項分為這個類.下面先敘述k近鄰演算法，然後再討論其細節。近鄰法的特殊情況 k 1情形，稱為最近鄰演算法.對於輸入的例項點 特徵向量 x xx,最近鄰法將訓練資...
統計學習方法 k 近鄰演算法
所謂k 近鄰 knn 是基本且簡單的分類與回歸方法，說的就是每個樣本的分類都可以用它最接近的k個鄰居來代表。1 對給定的訓練例項點和輸入例項點，首先確定輸入例項點的k個最近鄰訓練例項點，然後利用這k個訓練例項點的類的多數來 輸入例項點的類。2 k近鄰模型對應於基於訓練資料集對特徵空間的乙個劃分。k近...