迴圈神經網路文字與時間序列感想

2021-10-25 10:13:23 字數 685 閱讀 6846

使用pip install quandl獲得google股價資料集,該資料集包含3424行12列。列使用其中5個屬性,訓練集選用前2850行,測試集選用後624行。假設視窗長度或者timestep為50,以長度為1滾動構建訓練集,則獲得的網路輸入向量為**[2800,50,5]**。即滾動次數,時間步長,一行變數。

不論是文字還是時間序列都需要batch,通俗的來說,batch就是把上面所說的25000訓練集或者2850訓練集按batch的大小分成多少組。假設batch=64,則一次網路輸入為上面的[64,80,100]或者[64,50,5],然後在乙個batch內並行運算,在接下來的batch中更新引數。以下面的全連線層舉例,

上述為沒有平行計算,可以描述為[1,x,3],x為任意數。一次只跑乙個樣本。

上述為平行計算,可以描述為[2,x,3]。一次跑兩個樣本。

參考:1、文字迴圈神經網路第11章.

2、時間序列…**之時間序列.

3、lstm神經網路輸入輸出究竟是怎樣的?.

迴圈神經網路與LSTM

是t時刻的輸入,例如單詞中相應的one hot向量st st是t時刻的隱狀態 memory 基於上一時刻的隱狀態和當前輸入得到 st f ux t ws t 1 st f uxt wst 1 其中f f一般是非線性的啟用函式,在計算s0s0 時,即第乙個單詞的隱藏層狀態,需要用到s 1 s 1,但是...

迴圈神經網路與LSTM

txt 是t時刻的輸入,例如單詞中相應的one hot向量st st是t時刻的隱狀態 memory 基於上一時刻的隱狀態和當前輸入得到 st f ux t ws t 1 st f uxt wst 1 其中f f一般是非線性的啟用函式,在計算s0s0 時,即第乙個單詞的隱藏層狀態,需要用到s 1 s ...

迴圈神經網路

原文 迴圈神經網路也可以畫成下面這個樣子 對於語言模型來說,很多時候光看前面的詞是不夠的,比如下面這句話 我的手機壞了,我打算 一部新手機。可以想象,如果我們只看橫線前面的詞,手機壞了,那麼我是打算修一修?換一部新的?還是大哭一場?這些都是無法確定的。但如果我們也看到了橫線後面的詞是 一部新手機 那...