目錄
背景介紹
邏輯回歸
邏輯回歸屬於線性分類器？
神經網路
交叉熵與kl散度
啟用函式
自然邏輯
比如，當已知y的區間為[0, 1] 時，線性回歸就保證不了**值屬於這個區間。
logistic regression：二分類線性分類器。
邏輯回歸是個二分類器(binary classification)。
雖說邏輯函式是"s"形曲線，但其分類邊界還是一條直線，所以歸為線性分類器。
由於s形曲線，輸入很大或很小時，輸出並不敏感，能有效處理一些異常資料。
邏輯回歸可以看作沒有隱藏層的多層感知機(mlp)：
其深度學習實現如下：
邏輯歸回最大化log似然，等價於最小化交叉熵。
kl散度用於衡量兩個分布距離，當兩個分布相同時，kl散度為0。
如下定義可知，kl散度是兩個分布的相對熵，即兩分布的交叉熵與真實分布熵的差，而真實分布p的熵是固定不變的，所以二者是一致的。
在深度神經網路中，sigmoid是常見的啟用函式，主要讓對映關係變得非線性，增加網路近似能力。
如果mlp中使用的都是sigmoid啟用函式，整個神經網路可以看作是邏輯回歸的多層遞迴。
由於sigmoid啟用函式在x很大或很小時，out的值基本不變，進入飽和區，此時梯度很小趨於0，這樣在反向傳播梯度學習時，學習會變得很慢。
0、1邏輯，中間接近線性、過大過小趨於穩定，直覺上，這是很自然的一種平滑。
這種看似簡易的非線性，經過多層遞迴，卻能表達任意函式。
線性回歸, 邏輯回歸和線性分類器
線性回歸,linear regression 邏輯回歸,logistic regression 線性分類器,linear classifier 邏輯分類器,logistic classifier.注意,這個名詞是我在文章中為了方便說明問題造出來的.線性回歸可以看作乙個perceptron,啟用函式是...
NG 邏輯回歸 二分類
import time import numpy as np import pandas as pd import matplotlib.pyplot as plt a pd.read table 01.txt header none,usecols 0,1,2 插入一列 1 a.insert 0,...
純numpy寫線性回歸 及二分類模型
參照別人的寫法進行改進，資料標準化和資料集的切分，也完全手寫，不使用sklearn的相關方法。改進了下之前的 引用了sklearn中的資料集。通過引數設定，來指定使用線性回歸，還是二分類邏輯回歸。但是，不知道怎麼寫多分類的模型演算法。如可以，懇請高手指點下。純手寫numpy實現回歸和二分類模型 fr...