chapter 10 迴圈網路架構

2021-09-23 10:31:25 字數 716 閱讀 1530

語言模型是rnn常關注的乙個問題,我們希望能讓演算法能夠在我們給出乙個首字元的情況下,給出後面的字元的**。在我看來,這不僅可以用於搜尋引擎,在考慮了語境後,或許也可以用來寫文章或繪畫。

以下是rnn的幾個例項:

我們可以使用莎士比亞的文集來訓練演算法,來得到習得了莎翁文風的演算法。

將一大堆代數托補學教材的內容輸入rnn,它就能輸出一篇看上去像模像樣的文章,甚至還能繪圖(ai**指日可待):

它甚至還會省略證明,可以說是學到了數學教材的精髓了。

將**輸入rnn,它可以輸出乙個**,雖然有很多的問題。

影象標註即指輸入乙個,輸出對其的描述文字。

rnn遇到的乙個問題是,當在反向傳播計算梯度時,我們實際上是乘以權重矩陣的轉置,當這個值大於一時,梯度會變得非常大。稱為梯度**;若該值小於一,則梯度會變得很小,稱為梯度消失。

為了解決這個問題,我們提出了lstm模型:

當反向傳播時,梯度只在上方經過,且只與f點乘。而且因為f是不斷更新的,可以較有效地避免梯度**或梯度消失。

chapter10使用Using機制

使用using機制 1.操作硬碟,就需要try.catch 2.為了簡化try.catch的機制,使用using 3.凡是使用了using 自動釋放資源的地方,必須實現idisposable介面 源 使用using自動釋放資源,不用再寫fs.close using system using syst...

Chapter10 泛型演算法

泛型演算法的基礎是迭代器。迭代器令演算法不依賴於容器,但是演算法依賴於元素型別的操作。也即 演算法永遠不會執行容器的操作。那麼,如果想向容器中新增元素或者執行其他的一些操作呢?標準庫提供了插入迭代器來完成。但演算法自身永遠不會做這樣的操作。唯讀演算法 1 int sum accumulate vec...

Chapter10 模板方法模式

模板方法模式,定義乙個操作中的演算法的骨架,而將一些步驟延遲到子類中,模板方法使得子類可以不改變乙個演算法的結構即重定義該演算法的某些特定步驟。父類可以成為子類的模板,所有重複的 都應該要上公升到父類去,而不是讓每個子類都去重複。當我們要完成某一細節層次一致的乙個過程或一系列步驟,但其個別步驟在更詳...