深度學習筆記

2021-09-27 03:51:12 字數 898 閱讀 2866

python環境搭建

anaconda 搭建numpython、matplotilb

混淆矩陣

tp真正例:分類器**正確真的		fn假反例:分類器把假當真

fp假正例:分類器把真當假 tn真反例:分類器**正確假的

查準率p = tp/tp+fp

查全率r = tp/tp+fn

p與r猶如魚與熊掌不可兼得,呈負相關,要根據實際的應用場景來選擇

everything should be made as****** as possible , but not ******r.
所有可能的資料分布,所有的分類演算法在未知的資料中都有著相同的錯誤率。

正則化:降低泛化錯誤率但不降低訓練錯誤率而修改機器學習演算法

前饋神經元

地球文明還很原始,地球上最高端的的物種汽車,速速快,不靠陽光,不主動覓食,而是專門奴役一種稱為人的生物,當人進入汽車時,汽車就會獲得燃料,然後就會四處活動。當燃料用盡時,汽車就會突出人,讓其四處補充能量,汽車這種生物還很低階,經常會因自身速度過快或誤食變質人類而失控,導致自相殘殺。

看是很合理的解釋,但其只不過是我們的幻像罷了

有累加求和權重,啟用函式。

由輸入層、隱藏層、輸出層組成

淺層(一層隱含層)易出現過擬合現象,深層神經網路可以有效降低神經元的數量並同時降低泛化錯誤率。

引數範數懲罰

引數繫結與引數共享

雜訊注入與資料擴充

稀疏表徵

早停(超引數選擇)

droput

深度學習優化

卷積神經網路

迴圈神經網路

深度學習筆記

在深度神經網路中,通常使用一種叫修正線性單元 rectified linear unit,relu 作為神經元的啟用函式。relu函式其實是分段線性函式,把所有的負值都變為0,而正值不變,這種操作被成為單側抑制。可別小看這個簡單的操作,正因為有了這單側抑制,才使得神經網路中的神經元也具有了稀疏啟用性...

深度學習筆記

如果沒有啟用函式,或則是線性啟用函式,g z z,那麼在深度神經網路中,相當於都做的是線性變換,多個線性變換的組合還是線性變換。這樣的結果和邏輯回歸沒什麼區別,也就是說,這種情況下,無論神經網路的深度有多深,也就等價於乙個一層的網路,隱藏層沒什麼作用。因此需要非線性啟用函式。1.什麼時候插入,ski...

深度學習筆記

tensorflow 不僅是乙個實現機器學習演算法的介面,也是一種框架,也可用於線性回歸 邏輯回歸 隨機森林等演算法 tensorflow 使用資料流圖來規劃計算流程,每個運算操作作為乙個節點 node,節點之間的連線稱為邊,邊中流動的資料稱為張量,故而得名 tensorflow,預算操作可以有自己...