文章**【機器學習煉丹術】
線性回歸解決的是回歸問題，邏輯回歸相當於是線性回歸的基礎上，來解決分類問題。
線性回歸(linear regression)是什麼相比不用多說了。格式是這個樣子的：
\(f_(x)=\sum_i+b\)
而邏輯回歸（logistic regression）的樣子呢？
\(f_(x)=\sigma(\sum_i+b)\)
sigmoid函式就是：
\(\sigma(z)=\frac}\)
函式影象是：
線性回歸得到大於0的輸出，邏輯回歸就會得到0.5~1的輸出；
線性回歸得到小於0的輸出，邏輯回歸就會得到0~0.5的輸出；
這篇文章的重點，在於線性回歸的引數估計使用的最小二乘法，而而邏輯回歸使用的是似然估計的方法。（當然，兩者都可以使用梯度下降的方法）。
舉個例子，現在我們有了乙個訓練資料集，是乙個二分類問題：
上面的\(x^1\)是樣本，下面的\(c_1\)是類別，總共有兩個類別。
現在假設我們有乙個邏輯回歸的模型：
\(f_(x)=\sigma(\sum_i+b)\)
那麼\(f_(x^1)\)的結果，就是乙個0~1的數，我們可以設定好，假設這個數字就是是類別\(c_1\)的概率，反之，1減去這個數字，就是類別\(c_2\)的概率。
似然簡單的理解，就是讓我們上面的資料集出現的概率最大
我們來理解一下：
\(x_1\)是\(c_1\)的概率是\(f_(x^1)\);
\(x_2\)是\(c_1\)的概率是\(f_(x^2)\);
\(x_3\)是\(c_2\)的概率是\(1-f_(x^3)\);
……\(x_n\)是\(c_1\)的概率是\(f_(x^n)\);
樣本之間彼此獨立，那麼上面那個資料集的概率是什麼？是每乙個樣本的乘積，這個就是似然likelihood：
我們希望這個w，b的引數估計值，就是能獲得最大化似然的那個引數。也就是：
加上負號之後，就可以變成最小化的問題。當然，加上乙個log並不會影響整個的w,b的估計值。因為\(l(w,b)\)最大的時候，\(log(l(w,b))\)也是最大的，log是個單調遞增的函式。所以可以得到下面的：
【注意：所有的log其實是以e為底數的自然對數】
log又可以把之前的乘積和，轉換成加法。
\(log(l(w,b))=log(f(x^1))+log(f(x^2))+log(1-f(x^3))...\)
然後，為了更加簡化這個算是，我們將\(c_1, c_2\)數值化，變成1和0，然後每乙個樣本的真實標籤用\(y\)來表示，所以就可以得到：
\(log(l(w,b))=\sum_i^n\)
【有點像是二值交叉熵，然而其實就是二值交叉熵。。】
所以其實我們得到的損失函式是：
\(loss=-log(l(w,b))=-\sum_i^n\)
之前說了，要找到讓這個loss最小的時候的w和b，那怎麼找？
【無情萬能的梯度下降】
所以計算\(\frac\)，然後乘上學習率就好了。這裡就不繼續推導了，有耐心的可以慢慢推導，反正肯定能推出來的。
這裡放個結果把：
\(\frac=\sum_n^n(x^n))x_i^n}\)
線性回歸與邏輯回歸
cost functionj 12m i 1m h x i y i hypothesish x tx 梯度下降求解 為了最小化j j j 1m i 1m h x i y i x i j 每一次迭代更新 j j 1m i 1m h x i y i x i j 正規方程求解 最小二乘法 xtx 1x t...
01 線性模型 線性回歸與邏輯回歸
線性模型 試圖學得乙個屬性的線性組合來進行 的函式 f x w 1x 1 w 2x 2 w dx d b 向量模式 f x w tx b 簡單 基本 可解釋性好 可看出每部分屬性所做的貢獻 可用於分類和回歸 多個特徵 h x sum theta ix i theta tx 損失函式mse j the...
線性回歸與邏輯回歸的區別
以經典的 房價為例，假設樣本為 x,y ix,y i x,yi 其中x是多維變數 x x1,x 2.xn x x 1,x 2.x n x x1 x2 x n 屬性包括房子大小，使用年限等，y是對應該樣本的房價。那麼我們就可以得到乙個 房價的假設模型，h x txh theta x theta t x...