對問題劃分層次，並利用非線性變換和線性模型的組合，將未知的複雜問題分解為已知的簡單問題。
其原理是將樣本的特徵和樣本發生的概率聯絡起來，即，**的是樣本發生的概率是多少。由於概率是乙個數，因此被叫做「邏輯回歸」。
在回歸問題上再多做一步，就可以作為分類演算法來使用了。邏輯回歸只能解決二分類問題，如果是多分類問題，lr本身是不支援的。
總結： 邏輯回歸是解決分類問題的，本質是求概率再分類。在分類結果的背後是隱藏變數的博弈，我們認為隱藏變數與特徵是線性相關的，因此就可以對隱藏變數之差求概率（得到隨機變數的累積分布函式），得到probit回歸模型。
根據建模過程，我們已經得到了邏輯回歸模型，下一步就是找到損失函式，去盡可能地擬合資料。
那麼對於給定的樣本資料集x，y，我們如何找到一組引數，使得用這樣的方式，可以最大程度獲得樣本資料集x對應的分類輸出y？
邏輯回歸假設資料服從伯努利分布，通過極大似然函式的方法，運用梯度下降來求解引數，來達到將資料二分類的目的。
找到廣義線性模型中的聯絡函式。如果選擇單位階躍函式的話，它是不連續的不可微。而如果選擇sigmoid函式，它是連續的，而且能夠將z轉化為乙個接近0或1的值。
決策邊界是分類中非常重要的乙個概念。線性決策邊界就是一條直線，而在真實資料，很少是一根直線就能分類的，通常都要加上多項式項，也就是非線性的決策邊界。這樣才能解決更複雜的問題。
但是多項式項的階數越大，越容易過擬合。那麼就要進行模型的正則化。下一章就在邏輯回歸中使用正則化，且看看sklearn中是如何使用邏輯回歸的。
NG 邏輯回歸 二分類
import time import numpy as np import pandas as pd import matplotlib.pyplot as plt a pd.read table 01.txt header none,usecols 0,1,2 插入一列 1 a.insert 0,...
2 簡單的二分類問題 邏輯回歸
1 資料的分類 結構化資料，可以用 表達描述的資料，計算機對於結構化資料有遠超人類的計算能力 非結構化資料 例如影象，聲音 文字序列等無法直接描述的資料，人類對於非結構化資料天生具有超強的理解能力 2 sigmoid函式 二分類問題分類結果的表達，一般輸出為屬於某一類的概率。在神經網路中，我們不能保...
邏輯回歸 線性二分類和非線性啟用
目錄 背景介紹 邏輯回歸 邏輯回歸屬於線性分類器？神經網路 交叉熵與kl散度 啟用函式 自然邏輯 比如，當已知y的區間為 0,1 時，線性回歸就保證不了 值屬於這個區間。logistic regression 二分類線性分類器。邏輯回歸是個二分類器 binary classification 雖說邏...