keras 4 LSTM函式詳解

2021-09-11 10:47:37 字數 1912 閱讀 6018

層數1,2,3,4 基本沒有看到過更多的了,大部分網路可能就是兩層雙向或者一層雙向即可

結點數 根據特徵維數和資料量 ,64,128,256,512, 也是基本沒有看到過更多的,大部分網路就是128或者256

lstm層

keras.layers.recurrent.lstm(units, activation=『tanh』, recurrent_activation=『hard_sigmoid』, use_bias=true, kernel_initializer=『glorot_uniform』, recurrent_initializer=『orthogonal』, bias_initializer=『zeros』, unit_forget_bias=true, kernel_regularizer=none, recurrent_regularizer=none, bias_regularizer=none, activity_regularizer=none, kernel_constraint=none, recurrent_constraint=none, bias_constraint=none, dropout=0.0, recurrent_dropout=0.0)

1核心引數

units:輸出維度

input_dim:輸入維度,當使用該層為模型首層時,應指定該值(或等價的指定input_shape)

return_sequences:布林值,預設false,控制返回型別。若為true則返回整個序列,否則僅返回輸出序列的最後乙個輸出

input_length:當輸入序列的長度固定時,該引數為輸入序列的長度。當需要在該層後連線flatten層,然後又要連線dense層時,需要指定該引數,否則全連線的輸出無法計算出來。

輸入shape

形如(samples,timesteps,input_dim)的3d張量

輸出shape

如果return_sequences=true:返回形如(samples,timesteps,output_dim)的3d張量否則,返回形如(samples,output_dim)的2d張量

1.輸入和輸出的型別

相對之前的tensor,這裡多了個引數timesteps,其表示啥意思?舉個栗子,假如我們輸入有100個句子,每個句子都由5個單詞組成,而每個單詞用64維的詞向量表示。那麼samples=100,timesteps=5,input_dim=64,你可以簡單地理解timesteps就是輸入序列的長度input_length(視情而定)

2.units

假如units=128,就乙個單詞而言,你可以把lstm內部簡化看成y=x1×64w64×128y=x1×64w64×128 ,x為上面提及的詞向量比如64維,w中的128就是units,也就是說通過lstm,把詞的維度由64轉變成了128

3.return_sequences

我們可以把很多lstm層串在一起,但是最後乙個lstm層return_sequences通常為false,具體看下面的栗子。

栗子sentence01: you are really a genius

(1)我們把輸入的單詞,轉換為維度64的詞向量,小矩形的數目即單詞的個數input_length

(2)通過第乙個lstm中的y=xw,這裡輸入為維度64,輸出為維度128,而return_sequences=true,我們可以獲得5個128維的詞向量v1』…v5』

(3)通過第二個lstm,此時輸入為v1』…v5』都為128維,經轉換後得到v1」…v5」為256維,最後因為return_sequences=false,所以只輸出了最後乙個紅色的詞向量

Keras 損失函式與評價指標詳解

2020.12.03更新 pytorch不香麼 regression losses 2 metrics 變數定義 損失函式的分類 probabilistic losses binarycrossentropy class 輸入示例 y true 0.1.0.0.y pred 0.6,0.4 0.4,...

PHP物件導向 4 建構函式詳解

部分1 class human a newhuman b new human c new human echo a name,echo b name,echo c name,三個李四 echo a gender,echo b gender,echo c gender,三個男 echo 筆記部分1 在...

4 指標運算 指標函式詳解

1.指標 資料型別 儲存位址的資料型別 2.指標變數 儲存位址的變數 4.指標的定義 型別名 變數名 型別名 變數名 表示指標變數 指標的計算 型別名 定義 先 後變數名,後型別名。int 3 1 p 2 5.指標所佔位元組 資料型別 在32位系統中,佔4個位元組 6.指標變數型別 去掉變數名 in...