目前主流的attention方法都有哪些？ - jaylou婁傑的回答 - 知乎
目前主流的attention方法都有哪些？ - 張戎的回答 - 知乎
attention機制解讀 - 高峰ouc的文章 - 知乎
transformer詳解（一）——attention機制詳解 - 被包養的程式猿丶的文章 - 知乎
簡說seq2seq原理及實現 - 陳猛的文章 - 知乎
attention機制簡單總結 - 邱震宇的文章 - 知乎
attention機制的血緣關係：
encoder-decoder:
是一種神經網路的結構，常見的encoder和decoder可以是rnn、lstm、gru這些能夠處理序列資料的模型。任務：輸入乙個序列，輸出乙個序列。主要部分：encoder和decoder，encoder首先處理輸入序列中的每乙個item（需要做embeeding處理），並且將其轉換成乙個向量（context向量），然後encoder將context向量傳遞給decoder，decoder根據context向量乙個接乙個的生成輸出序列中的每個item。
從上面的encoder和decoder結構seq2seq模型可以發現，encoder只把最後乙個hidden state作為context向量餵給decoder，所以這種結構在處理長句子翻譯問題的時候表現並不好。為解決這個問題，attention應運而生，attention使得模型能夠關注輸入序列中與目標相關的部分。1. 什麼要引入attention機制？
迴圈神經網路已經的很強的記憶能力，但想要記憶長距離的資訊需要更複雜的模型，需要更強大的計算能力，而往往在很多場合計算能力是乙個瓶頸，使得不能一味增加模型的複雜度來提高模型效果。
2. attention機制的理解
引入人腦處理資訊過載的方式，只選擇一些關鍵資訊進行處理，來提高神經網路的效率。在影象識別中人的面部、文字中的標題以及文章首句等位置就是關鍵資訊。
3. attention機制有哪些？
按照認知神經學中的注意力，可以分為兩類：
在人工神經網路中，注意力機制一般就特指聚焦式注意力。
4. attention機制的原理
上面的圖是qkv模型，假設輸入為 [外鏈轉存失敗,源站可能有防盜煉機制,建議將儲存下來直接上傳qqq，memory 中以(k
kk,v
vv)形式儲存需要的上下文。感覺在 q&a 任務中，這種設定比較合理，transformer 是採用的這種建模方式。 k
kk 是 question， v
vv是 answer，q
qq是新來的 question，看看歷史 memory 中k
kk 更相似，然後依葫蘆畫瓢，根據相似 v
vv，合成當前問題的答案。
decoder中的資訊定義為乙個query，encoder中包含了所有可能出現的詞語，我們將其作為乙個字典，該字典的key為所有encoder的序列資訊。n個單詞相當於當前字典中有n條記錄，而字典的value通常也是所有encoder的序列資訊。注意力機制可以分為三步：我們將 α
i\alpha_i
αi稱之為注意力分布（概率分布），s(x
i,q)
s(x_i,q)
s(xi,
q)為注意力打分機制，有幾種打分機制：
這種編碼方式為軟性注意力機制（soft attention），軟性注意力機制有兩種：普通模式（key=value=x）和鍵值對模式（key！= value)
attention注意力機制
attention注意力機制的定義和本質 顧名思義 注意力機制的意思就是將注意力集中在重要的點上，忽略那些不重要的因素。注意力機制的本質其實就是對特徵分配注意力權重的過程。現在的重點就是注意力權重的獲取過程。encoder decoder模型定義 以機器翻譯為例，來講解attention機制。機器翻...
Attention注意力機制
attention注意力機制及其實現 帶注意力機制的seq2seq翻譯模型 attention注意力機制介紹 自然語言處理中的自注意力機制 self attention mechanism 簡要描述就是 你正在做什麼，你就將注意力集中在那一點上 attention分為空間注意力和時間注意力，即spa...
Attention注意力機制 原理與應用
注意力機制即attention mechanism在序列學習任務上具有巨大的提公升作用，在編解碼器框架內，通過在編碼段加入a模型，對源資料序列進行資料加權變換，或者在解碼端引入a模型，對目標資料進行加權變化，可以有效提高序列對序列的自然方式下的系統表現。attention模型的基本表述可以這樣理解成...