深度學習基礎理論知識

2022-05-25 01:21:12 字數 388 閱讀 6614

深度學習入門,裡面包含各種基本知識:

啟用函式:

l正則化項和dropout:

優化器:

交叉驗證的時候,每一折都需要重新定義模型和優化器

正常的資料劃分為訓練集、驗證集、測試集三部分

調參的前提是模型需要收斂

batchsize的理解:

神經網路的反向傳播:反向傳播看上去是乙個很簡單的過程,但實際上有很多技巧在裡面。向量的加減乘除、點乘,都好理解,直接公式求導就行。loss function也好理解,無非是對不同引數層的權值更新,或者是對同一引數層的多次更新。但是向量的拼接卻不是很好理解了。我個人猜想應該會儲存相應向量的位置,然後對這些向量的權重進行單獨更新。

訓練神經網路的技巧:

解決梯度消失和梯度**的技巧:

基礎理論知識(五)

1.s,d,f,2f的作用分別是什麼?4分 s 通用佔位符 d 整數型別佔位符 f 小數佔位符 2f 保留兩位小數 2.檔案讀寫的三個基本步驟是什麼?3分 open test.txt w 開啟檔案時,如果檔案不存在會有什麼結果?1分 open test.txt r 開啟檔案時,如果檔案不存在會有什麼...

BGP基礎理論知識

bgp 邊界閘道器路由協議,管理as之間路由傳遞 距離向量型,分布式計算 採用tcp來傳遞路由資訊,埠號179,保障可靠性,但是這樣做了就會喪失鄰居自動發現的功能,只能單播建立鄰居,並且可以非直連建立鄰居關係。bgp設計是用來處理as之間的路由協議重點處理as之間的路由,as之內的路由不作為重點,所...

爬蟲 基礎理論知識(一)

4.所有的目標url全部請求完畢,爬蟲結束 搜尋引擎需要遵守robot協議 搜尋引擎的缺點 b.搜尋引擎搜尋的結果千篇一律,沒有辦法根據特定的使用者,獲取特定的資料 c.搜尋引擎搜尋結果99 並沒用 目的 實現不同的系統互聯之間的資料通訊,實現資料的傳輸 2.表示層 3.會話層 4.傳輸層 5.網路...