線性回歸就是利用線性回歸方程的最小二乘函式對乙個或多個自變數和因變數之間的關係進行建模的方法，通俗的說就是通過大量樣本的訓練，通過有監督的學習找到乙個x到y的對映關係，利用該關係對未知資料進行**，經常用於房價**等方面，之所以把其分類到回歸問題是因為我們所**的y值是連續值。
n 為 樣本總數
x 為 樣本特徵
y 為 **值 （預設列向量）
w 為 係數矩陣（預設列向量）
方程為y = xw + b
設樣本特徵的個數為p 那麼x可以用下面這個矩陣來表示
損失函式則為：
e w=
(xw−
y)t(
xw−y
)e_=(x w-y)^(x w-y)
ew=(x
w−y)
t(xw
−y)
求解損失函式：
對w求導：
∇ ew
=∂(w
txtx
w)∂w
−2∂(
wtxt
y)∂w
−∂(y
ty)∂
w\nabla e_=\frac x^ x w\right)}-2 \frac x^ y\right)}-\frac y\right)}
∇ew=∂
w∂(w
txtx
w)−
2∂w∂
(wtx
ty)
−∂w∂
(yty
)∇ ew
=2xt
xw−2
xty\nabla e_=2 x^ x w-2 x^ y
∇ew=2
xtxw
−2xty∇e
w=2x
t(xw
−y)\nabla e_=2 x^(x w-y)
∇ew=2
xt(x
w−y)
另該式子等於0
解得w^=
(xtx
)−1x
ty\widehat=\left(x^ x\right)^ x^ y
w=(xtx
)−1x
ty如果使用了 l1,l2正則化，那麼對應的解：w^=
(xtx
+λi)
−1xt
y\widehat=\left(x^ x+\lambda i\right)^ x^ y
w=(xtx
+λi)
−1xt
y邏輯回歸同樣是有監督學習，旨在解決二分類問題。在空間中找到一條決策邊界，來將兩種型別的值分開。
邏輯回歸和線性回歸的區別：
線性回歸可以解決連續值的**，但是不能解決分類問題，邏輯回歸可以解決分類問題，所以邏輯回歸就是將線性回歸的結果通過sigmoid函式對映到（0,1）之間。
類別為1的概率
類別為0的概率
損失函式
求解損失函式：
梯度下降法：
具體求解過程可以看我另一篇部落格：
貝葉斯公式就是想用概率數學來表示事件發生依賴關係。貝葉斯公式長下面這樣：
pr (
x=x∣
y=y)
=pr(
y=y∣
x=x)
pr(x
=x)pr
(y=
y)\operatorname(x=x | y=y)=\frac(y=y | x=x) \operatorname(x=x)}(y=y)}
pr(x=x
∣y=y
)=pr
(y=y
)pr(
y=y∣
x=x)
pr(x
=x)
從公式來看，可能有些人不太理解，我們可以從圖形來看：
這裡有乙個很詳細的例子，可以幫助更好地理解樸素貝葉斯的工作原理：
ML 高斯判別分析 樸素貝葉斯和邏輯回歸
華電北風吹 天津大學認知計算與應用重點實驗室 最後修改日期 2015 8 22 近來看 中經常看到gda和樸素貝葉斯，並且 中說的演算法中用到的貝葉斯公式，對怎麼用的原理以前沒有仔細研究，今天仔細的看了斯坦福機器學習的關於gda，nb和lr的講義部分。理解了貝葉斯公式在gda和nb中的原理，以及gd...
樸素貝葉斯公式的理解和應用
樸素貝葉斯 2019.11.21 貝葉斯方法是乙個歷史悠久，有著堅實的理論基礎的方法，同時處理很多問題時直接而又高效，很多高階自然語言處理模型也可以從它演化而來。因此，學習貝葉斯方法，是研究自然語言處理問題的乙個非常好的切入口。貝葉斯公式就一行 而它其實是由以下的聯合概率公式推導出來 其中p y 叫...
樸素貝葉斯中 連續型特徵屬性和零概率事件處理
上面講的特徵屬性值，都是離散的，賬號真假檢測例子中把連續的轉換成區間，每個區間也可以看成離散的，但是如果在不能這樣轉換的情況下怎麼解決？如果特徵屬性值是不是離散的，而是連續的怎麼辦？我們是站在巨人的肩膀上，前人早已經為我們找到了應對之策 當特徵屬性為連續值時，通常假定其值服從高斯分布 也稱正態分佈 ...