前面的實驗中分別測量了吸引子和鞍點，排斥子和鞍點，吸引子和排斥子的分類網路的準確率。
以吸引子和鞍點為例
吸引子 c
>1
>1
排斥子 p
>1
<1 鞍點
a<1
>1
反鞍點 fa
製作乙個二分類網路用來分類c和a，通過改變測試集c和a的比例觀察網路分類能力的變化，並將得到的資料擬合成數學表示式。
訓練集的比例c：a=1：1，
測試集c和a的比例為x：y.
讓x：y的比例分別為0：10，1：9，2：8，3：7，4：6，5：5，6：4，7：3，8：2，9：1，10：0。
實驗過程
二分類吸引子和鞍點
製作乙個4*4*2的網路向這個的左側輸入吸引子，並讓左側網路向1，0收斂；向右側網路輸入鞍點讓右側向0，1收斂，並讓4*4*2部分權重共享，前面大量實驗表明這種效果相當於將兩個彈性係數為k1，k2的彈簧並聯成乙個彈性係數為k的彈簧，並且讓k1=k2=k/2的過程。
這個網路的收斂標準是
if (math.abs(f2[0]-y[0])< δ && math.abs(f2[1]-y[1])< δ )
因為對應每個收斂標準δ都有乙個特徵的迭代次數n與之對應因此可以用迭代次數曲線n(δ)來評價網路效能。
本文嘗試了δ從0.5到1e-6在內的36個值.
具體進樣順序
進樣順序
迭代次數
δ=0.5 c
1判斷是否達到收斂 a
2判斷是否達到收斂
梯度下降 c
3判斷是否達到收斂 a
4判斷是否達到收斂
梯度下降 ……
達到收斂標準測量準確率,記錄迭代次數，將這個過程重複199次
δ=0.4 …
δ=1e-6
將這個網路簡寫成
d2（c，a）-4-4-2-（2*k）,k∈
得到準確率表示式
與之對應
d2（p，c）-4-4-2-（2*k）,k∈的準確率表示式
d2（p，a）-4-4-2-（2*k）,k∈的準確率表示式
因此得到這3組資料p
c 0.2556 1
p a0.959284
0.864343 c
a0.799758
0.939178
經過觀察發現
右側 差
1.235858
1.231751
0.004108
1.160756
1.168032
-0.00728
1.188831
1.180657
0.008174
進一步整理這3個等式
實驗資料
d2（c，a）-4-4-2-（2*k）,k∈
《二分類吸引子和鞍點的準確率的表示式ca》
d2（p，a）-4-4-2-（2*k）,k∈
《二分類排斥子和鞍點和準確率的表示式pa》
d2（c，p）-4-4-2-（2*k）,k∈
《測試集的構成比例對網路分類效能的影響cp》
二分類 多分類
怎麼樣把兩類的分類的模型推廣到多類上？答 a.一對多法 one versus rest,簡稱ovr svms 訓練時依次把某個類別的樣本歸為一類,其他剩餘的樣本歸為另一類，這樣k個類別的樣本就構造出了k個svm。分類時將未知樣本分類為具有最大分類函式值的那類。b.一對一法 one versus on...
2 簡單的二分類問題 邏輯回歸
1 資料的分類 結構化資料，可以用 表達描述的資料，計算機對於結構化資料有遠超人類的計算能力 非結構化資料 例如影象，聲音 文字序列等無法直接描述的資料，人類對於非結構化資料天生具有超強的理解能力 2 sigmoid函式 二分類問題分類結果的表達，一般輸出為屬於某一類的概率。在神經網路中，我們不能保...
二分類問題
模型 帶有relu啟用的dense層堆疊 對於二分類問題，網路的最後一層應該是只有乙個單元並使用sigmoid啟用的dense層，網路的輸出應該是0 1的標量，表示概率值 對於二分類問題的sigmoid標量輸出，應該使用binary crossentroy 二元交叉熵 損失函式 實驗 1 嘗試增加或...