理論：
1.線性判別函式和決策邊界
線性判別函式
若分屬於ω1，ω2的兩類模式可用一方程d(x) =0來劃分，那麼稱d(x) 為判別函式，或稱判決函式、決策函式。
乙個線性分類模型（linear classification model）或線性分類器（linear classifier），是由乙個（或多個）線性的判別函式f(x,w)= wtx+b和非線性的決策函式g(·)組成。
兩類分類（binary classification）的類別標籤y只有兩種取值，通常可以 設為。
在兩個分類中，我們只需要乙個線性判別函式f(x,w)=wtx+b 。特徵空間rd 中所有滿足f(x,w) = 0的點組成用乙個分割超平面（hyperplane），稱 為決策邊界（decision boundary）或決策平面（decision su***ce）。決策邊界將
特徵空間一分為二，劃分成兩個區域，每個區域對應乙個類別。
決策邊界
所謂決策邊界就是能夠把樣本正確分類的一條邊界，主要有線性決策邊界(linear decision boundaries)和非線性決策邊界(non-linear decision boundaries)。
logistic 回歸與 softmax 回歸是兩個基礎的分類模型，雖然聽名字像是回歸模型，實際上並非如此。logistic 回歸，softmax 回歸以及線性回歸都是基於線性模型。其實 softmax 就是 logistic 的推廣，logistic 一般用於二分類，而softmax 是多分類。
2.logistic回歸
logistic回歸分類
logistic回歸在進一步細分，又可分為二元logit（logistic）回歸、多分類logit（logistic）回歸，有序logit（logistic）回歸。
雖然叫做回歸，但是是一種分類演算法，用於二分類問題。
如果y值僅兩個選項，分別是有和無之類的分類資料，選擇二元logistic回歸分析。y值的選項有多個，並且選項之間沒有大小對比關係，則可以使用多元logistic回歸分析。y值的選項有多個，並且選項之間可以對比大小關係，選項具有對比意義，應該使用多元有序logistic回歸。
二元logistic回歸分析的使用頻率最高
3.softmax回歸
其實softmax回歸是logistic回歸的一般形式，一般用於多分類問題
softmax函式的本質就是將乙個k 維的任意實數向量壓縮（對映）成另乙個k維的實數向量，其中向量中的每個元素取值都介於（0，1）之間，並且壓縮後的k個值相加等於1(變成了概率分布)。在選用softmax做多分類時，可以根據值的大小來進行多分類的任務，如取權重最大的一維。softmax介紹和公式網上很多，這裡不介紹了。
4.感知器
感知器的定義
感知機接受多個輸入訊號，輸出乙個訊號。（無法實現異或）
單層感知器由乙個線性組合器和乙個二值閾值元件組成。
可以看到，乙個感知器有如下組成部分：
f (z) = 1(z>0) 或者 0（z<=0）
y = f(w * x + b)
5.支援向量機
svm簡介
支援向量機（support vector machines, svm）是一種二分類模型，它的基本模型是定義在特徵空間上的間隔最大的線性分類器，間隔最大使它有別於感知機；svm還包括核技巧，這使它成為實質上的非線性分類器。svm的的學習策略就是間隔最大化，可形式化為乙個求解凸二次規劃的問題，也等價於正則化的合頁損失函式的最小化問題。svm的的學習演算法就是求解凸二次規劃的最優化演算法。
svm演算法原理
svm學習的基本想法是求解能夠正確劃分訓練資料集並且幾何間隔最大的分離超平面。如下圖所示，
即為分離超平面，對於線性可分的資料集來說，這樣的超平面有無窮多個（即感知機），但是幾何間隔最大的分離超平面卻是唯一的。
實踐：
1.實驗兩個回歸函式
2.實驗支援向量機
深度學習筆記 二
miou計算方法 p ij表示類 i被識別為類j的畫素總數，即p ii表示識別正確的真正例 true positive,tp 總數，而p ij和p ji則分別表示識別錯誤的假正例fp false positive,fp 總數和假反例fn false negative,fn 總數。語義分割j and ...
深度學習學習筆記
神經網路的隱含層越多 模型引數越多，模型擬合能力更強，同時訓練的難度也會增加。減少模型引數的方法有兩種 逐層訓練和權重共享。權重共享思路是現有深度學習的基礎，它大大減少了模型的引數。深度學習並不需要很多的人工特徵工程，利用其強大的建模能力來代替，整個訓練的過程是端到端的過程 end to end 其...
伯禹學習平台 深度學習筆記（二）
1.訓練誤差和泛化誤差 訓練誤差 模型在訓練資料集上表現出的誤差。泛化誤差 模型在任意乙個測試資料樣本上表現出的誤差的期望，並常常通過測試資料集上的誤差來近似。機器學習模型應關注降低泛化誤差。2.模型選擇 1 驗證資料集 測試資料集 訓練資料集之外的資料集，用於調參。2 k折交叉驗證 一種常用方法，...