梯度下降法是利用一階的梯度資訊找到函式區域性最優解的一種方法，也是機器學習裡面最簡單最常用的一種優化方法。梯度下降法是 line search 方法中的一種，主要迭代公式如下：xk+1=xk+αk*pk
牛頓法在最速下降法中，我們看到，該方法主要利用的是目標函式的區域性性質，具有一定的「盲目性」。牛頓法則是利用區域性的一階和二階偏導資訊，推測整個目標函式的形狀，進而可以求得出近似函式的全域性最小值，然後將當前的最小值設定近似函式的最小值。相比最速下降法，牛頓法帶有一定對全域性的**性，收斂性質也更優良。牛頓法的主要推導過程如下：
第一步，利用 taylor 級數求得原目標函式的二階近似：
五線性回歸的評估指標
均方誤差（mse）
均方根誤差（rmse）
mae(平均絕對誤差)
r-squared
六sklearn引數詳解
初級演算法梳理 任務1 線性回歸演算法梳理
有監督 無監督 泛化能力 過擬合欠擬合 方差和偏差以及各自解決辦法 交叉驗證 線性回歸的原理 線性回歸損失函式 代價函式 目標函式 優化方法 梯度下降法 牛頓法 擬牛頓法等 線性回歸的評估指標 sklearn引數詳解 機器學習任務包括兩類，有監督的和無監督的，有監督的主要包括分類與回歸，非監督的主要...
初級演算法梳理 邏輯回歸
1 邏輯回歸與線性回歸的聯絡與區別 線性回歸模型產生的 值是實值y hat，而考慮二分類問題，輸出標記y 可以把線性回歸產生的 值y hat轉化成0 1值，找到乙個單調可微函式將分類任務的 值y hat轉化成0和1。2 邏輯回歸的原理 線性回歸模型產生的 值是實值y hat，而考慮二分類問題，輸出標...
線性回歸演算法梳理
機器學習的一些概念 有監督 有目標值y 無監督 無目標值y 泛化能力 在 集上的 能力 過擬合欠擬合 方差和偏差以及各自解決辦法 測試集 能力不好叫欠擬合，在測試集上ok，訓練集ng 方差能解決過你和問題，偏差能解決欠擬合問題 交叉驗證 將樣本分為n分，按照一定的劃分方式劃分訓練集和測試集，互相交叉...