深度學習的一些引數說明以及trick

2021-08-10 21:16:56 字數 1449 閱讀 2345

** : 

輔助閱讀:tensorflow中文社群教程 - 英文官方教程

**見:full_connect.py

上面這些變數都是一種tensor的概念,它們是乙個個的計算單元,我們在graph中設定了這些計算單元,規定了它們的組合方式,就好像把乙個個閘電路串起來那樣

session用來執行graph裡規定的計算,就好像給乙個個閘電路通上電,我們在session裡,給計算單元衝上資料,that』s flow.

with

tf.session(graph=graph) as

session:

tf.initialize_all_variables().run()

forstep in

range(num_steps):

_, l, predictions = session.run([optimizer, loss, train_prediction])

這樣訓練的準確度為83.2%

由於這裡的資料是會變化的,因此用tf.placeholder來存放這塊空間

tf_train_dataset = tf.placeholder(tf.float32,

shape=(batch_size, image_size * image_size))

tf_train_labels = tf.placeholder(tf.float32, shape=(batch_size, num_labels))

計算3000次,訓練總資料量為384000,比之前8000000少

準確率提高到86.5%,而且準確率隨訓練次數增加而提高的速度變快了

**見nn_overfit.py

在前面實現的relu連線的兩層神經網路中,加regularization進行約束,採用加l2 norm的方法,進行調節:

**實現上,只需要對tf_sgd_relu_nn中train_loss做修改即可:

在訓練資料很少的時候,會出現訓練結果準確率高,但測試結果準確率低的情況

採取dropout方式強迫神經網路學習更多知識

參考aymericdamien/tensorflow-examples中dropout的使用

隨著訓練次數增加,自動調整步長

增加神經網路層數,增加訓練次數到20000

stddev = np.sqrt(2.0

/ n)

caffe的一些自定義層以及一些引數說明

使用官方版本caffe跑densenet時出現報錯 message type caffe.poolingparameter has no field named ceil mode 原因是官方版本的caffe 可能是舊版本的關係 的pooling層的引數沒有 ceil mode 需要修改與pooli...

druid連線池一些引數說明

以druid v1.1.3為例 引數說明 initialsize 初始化連線數 minidle 最小的空閒連線數 maxactive 最大允許的連線數 maxwait 獲取連線等待的超時時間 timebetweenevictionrunsmillis 檢測需要關閉的空閒連線的間隔時間 keepali...

lua一些特殊函式說明

setcllvalue l,l top,cl 這是個巨集展開是這樣 l top value gc obj2gco cl top valud gc 設定為 clsour的 gc l top tt ctb lua tlcl 設定top的值為 checkliveness l,io 做乙個檢測操作 這個函式...