tensorflow筆記2（北大網課實戰）

1、正則化緩解過擬合

正則化在損失函式中引入模型複雜度指標，利用給w加權值，弱化了訓練資料的雜訊

一般不會正則化b。

3、搭建模組化的神經網路八股：

前向傳播就是搭建網路，設計網路結構（forward.py）

def forward(x,regularizer):   #

regularizer是正則化權重
w=b=y= 
return
ydef
get_weight(shape,regularizer):
w=tf.variable()#
給w賦初值
tf.add_to_collection(
"losses
",tf.contrib.layers.12_regularizer(regularizer)(w))
return
wdef
get_bias(sahpe):
b=tf.variable()
return b

def

backward():
x =tf.placeholder()
y_ =tf.placeholder()
y =forward.forward(x,regularizer)
global_step=tf.variable(0,trainable=false)
loss =
正則化指數衰減學習率
滑動平均

生成資料集 generateds.py

前向傳播 forward.py

反向傳播 backward.py

Tensorflow學習筆記2

參考 1 classification分類學習 from tensorflow.examples.tutorials.mnist import input data mnist input data.read data sets mnist data one hot true mnist庫是手寫體數...

tensorflow入門筆記（2）

在tensorflow中，變數 tf.variable 的作用是儲存和更新神經網路中的引數。一般來說，權重引數 weights 賦予隨機初始值最為常見。偏置項常常用常數來設定初始值 import tensorflow as tf weights為乙個2 3的矩陣，初始值為正態分佈隨機數，標準差而2，...

tensorflow學習筆記2

1.np.asarray array和asarray都可將結構資料轉換為ndarray型別。舉例 data1 1,1,1 1,1,1 1,1,1 arr2 np.array data1 arr3 np.asarray data1 輸出 arr2 1 1 1 1 1 1 1 1 1 arr3 1 1 ...