邏輯回歸主要處理分類問題，屬於線性模型，模型表達能力有限需要構建深層次的特徵。
ps：在推薦模型裡對lr改進著名的有fm和ffm模型增加了特徵自組合出更高維度的特徵來加強模型的表達。
ps：fm（因子分解機）對模型的引數以及對應的特徵進行分解來達到特徵組合的目的。
ps：ffm（場感知因子分解機）對fm引入了場的概念對fm的計算域進行了限定（只會跟其餘場的特徵進行計算），提高了計算速度。這樣可以避免構建線性相關的特徵來引進冗餘特徵（因為線性性質之間可以互相進行表示）。
sigmoid函式：
ps：sigmoid函式也是假設樣本服從兩點分布（屬於指數簇分布）推導出來的sigmoid函式！
構建模型：
ps：可以看出sigmoid函式把線性回歸模型對映成了（0，1）閉區間的值。
損失函式：對於二分類來說是log損失，對於多分類來說是交叉熵損失（只針對softmax模型）。
ps：以下也只以二分類來進行說明。
ps：構建損失函式的過程，假設樣本服從兩點分布，然後構建極大似然估計就是著名的log損失函式，
定義概率函式：
極大似然估計：
ps：最後需要用負的似然函式等價損失函式（對數損失函式）
解析解：
ps：因為損失函式不是凸函式無法求得解析解，可以使用迭代法來進行更新引數。
梯度下降法：（對
ps：發現和回歸問題的梯度下降模型一樣，只是函式的定義不同而已！
牛頓法：利用二階泰勒展開來推導出！（加快了梯度下降法的速度）
ps：因為迭代的時候需要矩陣求逆，所以矩陣需要正定；而且時間複雜度會特別高接近n的立方量級！
擬牛頓：bfgs的矩陣迭代公式：
ps：擬牛頓演算法利用自行構建乙個矩陣來近似海森矩陣避免了矩陣求逆的操作。
ps：bfgs的缺點是空間消耗大，空間複雜度是平方量級的；lbfgs對空間又進行了優化，每次只對線性空間進行更新。
ps：共軛梯度法，是一種只利用一階導資訊，效率介於牛頓法和梯度下降法之間。
多分類處理：可以轉化為多個二分類模型進行處理；可以改寫模型變為softmax函式來處理。
新模型：
ps：sigmoid函式改寫為softmax函式，從二分類變為多分類。
極大似然估計：
然後損失函式（交叉熵損失函式）為似然函式取負號
梯度下降：
ps：交叉熵，可以由k-l散度來推導出。
邏輯回歸原理及其推導
邏輯回歸原理 邏輯回歸是利用回歸類似的方法來解決分類問題。假設有乙個二分類問題，輸出y，而線性模型 下文將展示這個模型 的的 值z是實數值，我們希望找到乙個階躍函式將實數z對映為，這樣我們就能很好的處理分類問題了。那麼邏輯回歸中是使用什麼函式來進行對映的呢？就是sigmoid函式 關於為什麼用這個函...
邏輯回歸 之 Logist 推導
可以咱學校教材大二版的 概率論與數理統計 山大版,來整一波,為了簡化推導形式呢,這裡就假設2個樣本空間的形式來展開,基於 條件概率 全概率與貝葉斯作為核心.栗子 全概率與貝葉斯 設某廠有甲,乙,丙 三個車間都生產 a 產品.已知 先驗概率 各車間產量分別佔全廠的 25 35 40 且各車間的次品率分...
邏輯回歸與梯度下降法全部詳細推導
from sklearn.processing import standardsacler sc standardscaler 例項化 sc.fit x train sc.transform x train 以上兩句可以並寫成一句sc.fit transform x trian 我們使用相同的放縮引...