問題一：
還有哪些消極學習的機器學習演算法？
knn是使用最多的消極學習的機器學習演算法。
此外還有：
case-based reasoning（案例推理）：是一種模擬推理方法，它提供了一種近似人類思維模型的建造專家系統的新的方法學，這與人對自然問題的求解相一致。它強調這樣的思想：人類在解決問題時，常常回憶過去積累下來的類似情況的處理，通過對過去類似情況處理的適當修改來解決新的問題。過去的類似情況及其處理技術被稱之為案例(case)。過去的案例還可以用來評價新的問題及新問題的求解方案，並且對可能的錯誤進行預防。運用這一基本思想進行推理被稱為cbr技術。
locally weighted regression（區域性加權回歸）：線性回歸的乙個問題就是欠擬合，將不能取得很好的**效果。因為它是具有最小均方誤差的無偏估計。解決這個問題的方法就是允許在估計中一些偏差。其中乙個非常有效的方法就是區域性加權線性回歸（lwlr）。
問題二：
分別了解一下這些距離的計算公式。
有下面三篇關於距離度量的博文可以參考。
歐式距離、標準化歐式距離、馬氏距離、余弦距離euclidean距離：即歐氏距離/歐幾里得距離聚類之距離計算及python實現
機器學習——幾種距離度量方法比較
指在m維空間中兩個點之間的真實距離，或者向量的自然長度（即該點到原點的距離）。在二維和三維空間中的歐氏距離就是兩點之間的實際距離。
manhattan距離：即曼哈頓距離
在歐幾里德空間的固定直角座標系上兩點所形成的線段對軸產生的投影的距離總和。
value difference metric距離（vdm距離）
heterogeneous euclidean-overlap metric(heom)距離
由歐氏距離和overlap metric距離異構而成
heterogeneous value difference metric（hvdm）距離
由歐式距離和value difference metric距離異構而成
問題三：
了解一下kd-tree相關知識
詳見這篇博文：
kd-tree演算法問題四：
基於資料的自動學習方法是指哪些方法？
機器學習 KNN最近鄰演算法
k近鄰 k nearest neighbor，knn 可以做分類，也可以做回歸。一 基本思想 給定一組訓練集，有乙個需要判斷類別的輸入例項，離輸入例項最近的k個訓練資料屬於哪個類別，就判斷輸入例項屬於哪個類別。二 分類演算法描述 1 計算輸入例項和所有訓練集資料的距離 2 按距離公升序排序 3 選擇...
機器學習 KNN（最近鄰）詳解
k 近鄰演算法原理 k最近鄰 knn，k nearestneighbor 分類演算法，見名思意 找到最近的k個鄰居 樣本 在前k個樣本中選擇頻率最高的類別作為 類別。下面舉個例子，一下大家就會顯而易見了，如下圖 e.g 下圖中，綠色圓要被決定賦予哪個類，是紅色三角形還是藍色四方形？如果k 3，由於紅...
機器學習之KNN k最近鄰演算法 機器學習
knn演算法是機器學習中入門級演算法，屬於監督性學習演算法。supervisedlearning.通過plinko遊戲來介紹該演算法。就是隨機在上面投球，然後球進下面的哪個地方就得多少分。然後在規定得投次數得到最高得分數，應該怎麼投？然後 每次投能得到多少分？首先應該通過訓練資料集，看看在每個位置投...