監督學習
knn演算法計算測試樣本與訓練集的各樣本的距離，按從小到大取前k個距離排序，然後選擇這k個最相似資料中出現次數最多的分類作為新資料的分類。
樸素貝葉斯實現的是概率量化計算的模型，它的解釋是通過對樣本的統計，然後算出某件事a發生的概率和某件事b發生的概率之間的量化關係。
決策樹實現的是通過選擇合適維度來增加約束條件降低分類的資訊熵。
回歸模型是通過建模與擬合來確定待定係數，通過不斷調整待定係數的大小來降低殘差的大小，也就是降低模型**值與訓練目標值的差距。
svm是通過超平面來分割空間中不同的分類向量，讓它們到超平面的距離盡可能遠，以此提公升泛化效能。
整合學習是整合多個分類器並通過不斷修改分類出錯樣本的受重視程度（權值），訓練出最終的強分類器。
機器學習演算法 1
擬牛頓 bfgs演算法 演算法描述 bfgs演算法與dfp步驟基本相同，區別在於更新公式的差異 def bfgs fun,gfun,hess,x0 功能 用bfgs族演算法求解無約束問題 min fun x 輸入 x0是初始點，fun,gfun分別是目標函式和梯度 輸出 x,val分別是近似最優點和...
機器學習演算法 1
此上最後部分lbfgs演算法的展開式有疑議 正確參考如下圖所示 擬牛頓 l bfgs演算法 擬牛頓法 如bfgs演算法 需要計算和儲存海森矩陣，其空間複雜度是n2，當n很大時，其需要的記憶體量是非常大的。為了解決該記憶體問題，有限記憶體bfgs 即傳說中的l bfgs演算法 橫空出世。h0 是由我們...
機器學習演算法總結
機器學習 machine learning,ml 是一門多領域交叉學科，涉及概率論 統計學 逼近論 凸分析 演算法複雜度理論等多門學科。專門研究計算機怎樣模擬或實現人類的學習行為，以獲取新的知識或技能，重新組織已有的知識結構使之不斷改善自身的效能。嚴格的定義 機器學習是一門研究機器獲取新知識和新技能...