lr主要推導
損失函式：
為何不用最小二乘法
是否要用最小二乘法取決於在所有未知數中的殘差是否為線性
最大似然
將概率密度估計問題轉化為引數估計問題，極大似然估計就是一種引數估計方法
隨機梯度下降**
批量梯度下降是所有的
是在權值更新前對所有樣例彙總誤差，而隨機梯度下降的權值是通過考查某個訓練樣例來更新的講的很詳細，兩個結合著看就足夠了
t/linolzhang/article/details/60151623
雅克比矩陣，對應一階偏導數。
h 為 hessian矩陣，對應二階偏導數
擬牛頓法的思想是不計算目標函式的hessian矩陣然後求逆矩陣，而是通過其他手段得到hessian矩陣或其逆矩陣的近似矩陣。具體做法是構造乙個近似hessian矩陣或其逆矩陣的正定對稱矩陣，用該矩陣進行牛頓法的迭代。
機器學習演算法之LR
說起lr要從極大似然估計說起 1 極大似然估計 講的比較好 2 lr模型 回歸是一種極易理解的模型，就相當於y f x 表明自變數x與因變數y的關係。最常見問題有如醫生治病時的望 聞 問 切，之後判定病人是否生病或生了什麼病，其中的望聞問切就是獲取自變數x，即特徵資料，判斷是否生病就相當於獲取因變數...
機器學習 邏輯回歸（LR）
1.模型介紹 logistic regression 雖然被稱為回歸，但其實際上是分類模型，並常用於二分類。logistic regression 因其簡單 可並行化 可解釋強深受工業界喜愛。在正式介紹模型之前，先聊一聊logitstic分布。1.1 邏輯斯諦分布 logistic distribu...
機器學習複習
1.判斷與名稱解釋題 a1.1 資料探勘 在較大資料集上通過某些方式發現模型的乙個過程 1.2 機器學習 研究如何通過計算手段，利用經驗提公升系統的效能 1.3 假設空間 對於資料集a，其data對應的特徵為乙個向量，此向量所在的空間稱為假設空間 1.4 奧卡姆剃刀 若有多個假設與觀測一致，則選擇最...