什麼是回歸？
給定一些資料，，x的值來**y的值，通常地，y的值是連續的就是回歸問題，y的值是離散的就叫分類問題。
高爾頓的發現，身高的例子就是回歸的典型模型。
回歸分為線性回歸（linear regression）和logistic 回歸。
線性回歸可以對樣本是線性的，也可以對樣本是非線性的，只要對引數是線性的就可以，所以線性回歸能得到曲線。
線性回歸的目標函式？
（1）為了防止過擬合，將目標函式增加平方和損失：
（2）增加了平方和損失，是2次的正則，叫l2-norm，有個專有名字：ridge。【嶺回歸】
也可以增加絕對值損失，叫l1-norm，也有個專有名字：lasso。
都假定引數θ服從高斯分布。
目標函式的推導？
以極大似然估計解釋最小二乘。過程如下：
（3）θ的解析式？
一句話：目標函式對θ求偏導，再求駐點。
防止過擬合，加入λ擾動：本質是l2-norm
梯度下降演算法？
梯度下降得到得是區域性最小值，而不是全域性最小值。
sgd隨機梯度下降的優點？
速度快往往能跳出區域性最小值
由於線性回歸的目標函式是凸函式，所以在這個地方用梯度下降得到的就是全域性最小值。
沿著負梯度方向迭代，更新後的θ會使得j（θ）更小。
注意：這裡是對某乙個樣本，對θj求偏導。
每乙個樣本都對此時的θj求偏導。
注意：梯度是向量，既有方向，又有值。例如，在二維空間中的表現為斜率，當斜率為1時，能想象方向，1不就是它的值嗎？厲害了，竟然現在才明白過來。
梯度下降：（又稱批量梯度下降batch gradient descent）
得到所有樣本後，再做梯度下降。
隨機梯度下降：（stochastic gradient descent）
還有乙個二者的折衷：
mini-batch:
攢夠若干個做一次批梯度下降，若干個樣本的平均梯度作為下降方向。
廣義線性模型（general linear regression glr）
1.logistic回歸的損失函式？
負對數似然nll。
softmax回歸是logistic回歸的多分類情況。
沿著似然函式正梯度上公升
這個圖很能理解線性回歸和lr回歸之間的關係。
logisticregression 就是乙個被logistic方程歸一化後的線性回歸，僅此而已。
提到logistic回歸，首先要說他跟線性回歸的聯絡：其實就是被logistic方程歸一化的線性回歸。將**的輸出對映到0,1之間。以概率判斷類別，大於0.5，判為一類，小於0.5判為一類。
logistic 方程/sigmoid 函式，大概長這樣。
概率分布函式：
似然函式：
對數似然：
對θj求偏導：
沿著梯度上公升。梯度上公升也行，梯度下降也對。
注意：線性回歸裡面求損失函式的最小值得時候用到了梯度下降演算法。
一定注意，那個是求損失函式的最小值，越小越好，當然用下降；而在這裡，要求對數似然函式的最大值，則需要沿著梯度上公升，越大越好。到最後得到極大似然估計值θ，那麼學到的logistic回歸模型就是：
一定注意，這兩次用梯度的目的不同，一次是為了損失值最小，一次是為了似然值最大，乙個下降，乙個上公升！
負對數似然損失函式nll。
可以很好的解釋。
機器學習或者統計機器學習常見的損失函式如下：
1.0-1損失函式 （0-1 loss function）
2.平方損失函式（quadratic loss function)
3.絕對值損失函式(absolute loss function)
l(y,f(x))=|y−f(x)|
4.對數損失函式（logarithmic loss function) 或對數似然損失函式(log-likehood loss function)
邏輯回歸中，採用的則是對數損失函式。如果損失函式越小，表示模型越好。
說說對數損失函式與平方損失函式
在邏輯回歸的推導中國，我們假設樣本是服從伯努利分布(0-1分布)的，然後求得滿足該分布的似然函式，最終求該似然函式的極大值。整體的思想就是求極大似然函式的思想。而取對數，只是為了方便我們的在求mle(maximum likelihood estimation)過程中採取的一種數學手段而已。
全體樣本的損失函式可以表示為：
這就是邏輯回歸最終的損失函式表示式。
logistic 回歸的總結：
優點：方法簡單、容易實現、效果良好、易於解釋
特徵選擇很重要：人工選擇，隨機森林、pca、lda
softmax回歸
logistic回歸的推廣，概率計算公式：
本章總結：
對於線性回歸，求解引數θ即可，可以用解析解的方法求解，也可以用梯度下降的方式求解。
對於logistic回歸和softmax回歸，推導及求解方式相同。基本遵循以下步驟：
給出分類概率函式
求累加的似然函式
轉換為對數似然函式求駐點
利用梯度下降法求解。
logistic回歸 logistic回歸
logistic回歸 logistic回歸分析可用於估計某個事件發生的可能性，這是乙個分類模型而不是乙個回歸模型！它的基本思想是利用一條直線將平面上的點分為兩個部分，即兩個類別，要解決的問題就是如何擬合出這條直線，這個擬合的過程就稱之為 回歸 logistic模型 假設你有乙個需要 的內容，要通過三...
線性回歸和logistic分類回歸的區別
回歸問題和分類問題是深度學習裡面需要分清楚的兩種情況，需要根據不同的情況制定不同的演算法，完成不同的任務。兩者最本質的區別是回歸問題代表連續的擬合曲線 值，而分類問題則是將輸入的幾個值分為幾個離散的類。例如 線性回歸處理的是回歸問題 e xp ect y w x bexpect y wx b exp...
logistic分類（logistic回歸 LR）
幾乎所有的教材都是從logistic分類開始的，因為logistic分類實在太經典，而且是神經網路的基本組成部分，每個神經元 cell 都可以看做是進行了一次logistic分類。所謂logistic分類，顧名思義，邏輯分類，是一種二分類法，能將資料分成0和1兩類。logistic分類的流程比較簡單...