樣本均衡
影象應該進行歸一化
小網路，沒有resnet的要加上bn， 訓練的時候均值和歸一化是計算的來的，測試的時候要是根據訓練集的均值和歸一化來的，如果測試的時候is_training要設定為false
cnn要加上偏置，否則，所有輸出結果都是一樣的，自己出現的這種現象
網路初始化問題
網路1層乙個cnn乙個pool，兩層2個cnn乙個pool
分類損失用focal loss
正則化學習率設定(0.003往下衰減，自己在實驗中0.001開始速度變快，或者用余弦退火學習率)
輸入以及每個block塊都加上dropout， 這個keep rate 從0.9-0.5依次降低
無論什麼輸入輸出結果一樣？
可能一：模型最終輸出都是0，梯度消失， 用he初始化， 新增dropout，
使用leaky-relu
原來是最後的分類經過了softmax 啟用，但是在計算損失的時候還是使用了softmax，這樣就相當於經過了兩次softmax，梯度消失更加明顯了
100個資料組成的訓練集。訓練的時候，acc是1，損失也比較小，但是繼續用這100個訓練集進行訓練，精度和猜的一樣
資料輸入的時候，（img-255）/128 這裡不對，改為（img-127.5）/128
batchsize是128，由於經過batch normalization，所以網路輸入始終是乙個資料集
aimg = img[0]aimg = cv2.cvtcolor(aimg, cv2.color_bgr2rgb)
cv2.imshow('img', aimg)
這個數值範圍是0-1
imagedata = tf.image.convert_image_dtype(imagedata, tf.float32) 這個範圍也是0-1所以不應該用-127.5/128最後一層是全部的進行fc，這個和人家的不一樣可以改過來試一下，他用的是train和extradata，自己要用一下
整理一下指令碼檔案
介面測試考慮內容
後端介面測試 從上面這兩張圖對比可以看出，兩個測試活動中相同的部分有功能測試 邊界分析測試和效能測試，其它部分由於各自特性或關注點不同需要進行特殊的測試。針對以上三部分相同的內容進行分析 1 基本功能測試 由於是針對基本業務功能進行測試，所以這部分是兩種測試重合度最高的一塊，開發同學通常所指的也主要...
批量訓練網路
如果整個資料庫中的數量不是每批資料數量的整數倍，體統會將剩餘的放入最後一批 import torch import torch.utils.data as data torch.manual seed 1 reproducible batch size 5x torch.linspace 1,10,...
神經網路訓練
學習了bp神經網路演算法，剛開始最終要的一點不明白的就是前一層和後一層 這裡指的只有三層，輸入層，隱藏層，輸出層 的權重，其實神經網路演算法中，前一層的每乙個節點和後一層的每乙個節點都有連線權重，初始權重是隨機的。而更新權重是通過輸出層的值來反向更新的。基本過程如下 1.輸入第乙個訓練樣本 對應的就...