vanilla rnn gradient flow:
問題 ： 1. 傳統的rnn在 backpropagation 的時候會出現梯度消失或者梯度**：
這是因為在rnn中，每乙個單元的 weight matrix w都是相同的，梯度反向傳播的時候 whh被乘以 t 次。
2. 這種rnn只能學到 medium-range dependencies （中期依賴關係）不能學到 long term dependencies （長期依賴關係）
四個門可以記作 ifog: input forget output gate
思路：1）forget gate 先過濾 cell state
2) input gate 與 gate gate 計算哪些部分更重要
3）計算cell state
4） 輸出 ht = tanh(ct) · ot
第十課學習
按鍵在未按下時，處於一種高電平狀態，一般這種情況下，其對io口的電平一致，則不會產生任何效果，只有在按下狀態時，由於與接地的迴路貫通，故相當於微控制器的io口直接接地。從原理圖上看，之所以要接keyin1 keyin4外接至按鍵中，主要原因是為了獲取按鍵的狀態，因為我們只能獲取微控制器的io口狀態，...
第十課 邊框
無邊框 border style none 虛線邊框 border style dotted 虛線邊框 border style dashed 實線邊框 border style solid 雙邊框 border style double 凹槽邊框 border style groove 壟狀邊框 ...
第十課 函式
第十課 函式 一.定義函式 def 函式名 引數1,引數2,文件描述 函式體return 值 def 定義函式的關鍵字 函式名 函式名指向函式記憶體位址，是對函式體 的引用。函式的命名應該反映出函式的功能 括號 括號內定義引數，引數是可有可無的，且無需指定引數的型別 冒號 括號後要加冒號，然後在下一...