關於搭建神經網路

2021-09-16 20:56:24 字數 524 閱讀 1424

有這麼幾個坑:

首先,loss函式真的超級重要!隨神經網路層數的不同,loss函式也應該發生變化。比如我把莫煩python教程mnist的那個例子直接搬下來之後加了一層,正確率直線下降,找不到原因,到網上又找了個**一點一點改,發現把loss函式改掉之後正確率也基本上跟沒訓練差不多了。比如loss後面用的是交叉熵,而莫煩python用得不是。

第二個就是,分批次學真的很重要,我自己的神經網路基本上是照著莫煩的模板來的,但是不同的是我讀取資料用的是mnist庫而不是tensorflow自己的庫,這樣我load的時候load in batches他就會報錯(我現在都不知道,明明返回了兩個值,我用兩個資料匹配結果報錯),我就直接load training然後一次性載入。我把網上的模板**也這麼改了,果然正確率直線下降,訓練了跟沒訓練差不多。不過這個從直觀上也很好理解,畢竟如果一次性給我們學太多東西不給反饋,學了跟沒學差不多。一次次少量練習加反饋才能收到最好的效果。

待續吧,反正現在的階段就是,抄**都能生造bug,然後debug幾天(攤手)

順便,python真的難……

搭建神經網路

1.import 2.train,test 3.model tf.keras.model.sequential 在sequential中描述網路結構,相當於走一遍前向傳播 4.model.compile 在compile中配置訓練方法,選擇哪個優化器,選擇什麼損失函式,選擇什麼評價指標 5.mode...

神經網路體系搭建(一) 神經網路

本篇是神經網路體系搭建的第一篇,解決體系搭建的前四個問題,詳見神經網路體系搭建 序 神經網路的定義就不再贅述,直接從最簡單的神經網路說起。將一系列輸入資料,通過訓練好的網路模型處理,得到輸出結果,這是神經網路決策的步驟。那麼我們的重點就是通過訓練得到網路模型。從上圖可以看出,模型的關鍵其實是尋找合適...

簡單搭建神經網路

簡單的神經網路 準備,前傳,後傳,迭代 下面是乙個簡單的神經網路搭建的 coding utf 8 import tensorflow as tf import numpy as np batch size 8 seed 23455 基於seed產生隨機數 rng np.random.randomst...