transformer是google提出的一種新的網路結構，其最大的特點是它的self-attention模組，相比於rnn和cnn，self-attention可以直接捕獲整個序列的全域性資訊，同時可以平行計算，速度要快很多。了解該模型最直接的方式就是閱讀**原文：attention is all you need。
網上關於該模型解讀的文章非常多，自己覺得講解的比較清楚的是這篇文章：bert大火卻不懂transformer？讀這一篇就夠了。英文比較好的同學，可以閱讀對應的英文文章：the illustrated transformer。
由於google的開源專案tensor2tensor包含了transformer模型，因此最簡單的方式是通過該專案使用transformer。網上比較好的demo演示是transformer demo1和transformer demo2。親測這些demo都是可以跑通的，需要相關**的同學可以聯絡原博文作者或者聯絡我。
網上關於transformer有不同版本的**實現方式，比較好的方式是google開源的tensor2tensor專案：tensor2tensor原始碼。個人比較推薦方式是先閱讀tensorflow專案裡面transformer**樣例，**結構比較清晰：transformer**樣例。
學習筆記 Transformer
1.transform簡介 transformer中拋棄了傳統的cnn和rnn，整個網路結構完全是由attention機制組成。更準確地講，transformer由且僅由self attenion和feed forward neural network組成。乙個基於transformer的可訓練的神...
Transformer個人詳細總結
必看 非常詳細且準確transformer 總結的相當明確 大致流程 應該是線性轉換，再將轉換之後的分為h個頭 一.將乙個句子進入embedding層得到句子的字向量 維度是512 再加入編碼資訊 二.重點 將這個句子得到的字向量複製三份為q,k,v q,k,v的維度是 句子長度，512 三.將q,...
Transformer的殘差連線
在學習transformer的過程中，編碼器和解碼器都用到了殘差連線，下面我總結一下殘差連線。假如我們的輸入為x，要得到的輸出為h x 那麼我們可以通過 h f x x，轉換為學習f。等得到f的輸出後，在此基礎上加上x即可得h的輸出。在transformer中，此時的f即是下圖中的multi hea...