在前面講述的回歸模型中，處理的因變數都是數值型區間變數，建立的模型描述是因變數的期望與自變數之間的線性關係。比如常見的線性回歸模型：
而在採用回歸模型分析實際問題中，所研究的變數往往不全是區間變數而是順序變數或屬性變數，比如二項分布問題。通過分析年齡、性別、體質指數、平均血壓、疾病指數等指標，判斷乙個人是否換糖尿病，y=0表示未患病，y=1表示患病，這裡的響應變數是乙個兩點（0-1）分布變數，它就不能用h函式連續的值來**因變數y（只能取0或1）。
總之，線性回歸模型通常是處理因變數是連續變數的問題，如果因變數是定性變數，線性回歸模型就不再適用了，需採用邏輯回歸模型解決。
邏輯回歸（logistic regression）是用於處理因變數為分類變數的回歸問題，常見的是二分類或二項分布問題，也可以處理多分類問題，它實際上是屬於一種分類方法
logistic regression雖然名字裡帶「回歸」，但是它實際上是一種分類方法，用於兩分類問題（即輸出只有兩種）。根據第二章中的步驟，需要先找到乙個**函式（h），顯然，該函式的輸出必須是兩個值（分別代表兩個類別）
所以利用了logistic函式（或稱為sigmoid函式），函式形式為：
二分類問題的概率與自變數之間的關係圖形往往是乙個s型曲線，如圖所示，採用的sigmoid函式實現：
5.求解(通過引數的變化得到最優解)：
注：擬合的越好的意思是，測試集的測試效果符合訓練集的訓練效果。在我看來訓練集就是真實值的集合，測試集就是**值的集合。
分類演算法（4） 邏輯回歸（LR）
lr模型屬於廣義線性模型，將特徵空間對映成一種可能性。損失函式 邏輯回歸函式 演算法流程 實現 設定迭代次數為500次，每次迭代，對每個訓練文字都更新一次w 的方法是 先將訓練文字與w相乘得到z，再判斷g z 是否大於等於0.5 在pla的 基礎上進行修改就可以得到lr 資料集格式為 第一行為58個...
機器學習 分類演算法 邏輯回歸13
邏輯回歸在演算法實現的時候有個判定是某個類別的概率，我們一般是根據樣本數量的大小去判定。邏輯回歸做二分類進行癌症 根據細胞的屬性特徵 return 構造列標籤名字 column sample code number clump thickness uniformity of cell size un...
學習筆記 分類演算法 邏輯回歸
邏輯回歸 logistic regression 簡稱lr。它的特點是能夠使我們的特徵輸入集合轉化為0和1這兩類的概率。一般來說，回歸不用在分類問題上，因為回歸是連續型模型，而且受雜訊影響比較大。如果非要應用進了 來，可以使用邏輯回歸。了解過線性回歸之後再來看邏輯回歸可以更好的理解。logistic...