參見
人眼前端是鞏膜(眼白)，瞳孔(中間的黑色圓圈)，虹膜(瞳孔和鞏膜之間的棕色部分)
後端感光部分則分為感光細胞和神經節細胞；
感光細胞又分為桿狀細胞(感受光的亮度)和錐狀細胞(感受色彩，分為r，g，b三種錐狀細胞)兩類。
神經節細胞則負責將刺激傳遞到視神經。
如上圖所示，錐狀細胞在視網膜上隨角度的分布並不是均勻的。而黃點(即0度範圍)是我們的視野中心，始終在移動。因而人眼在視野中心處辨色力最強，這就是注意力機制。而盲點處沒有視覺細胞故沒有視覺，但人眼的補償機制會將其補償。
鷹眼視力好是因為錐狀細胞比較多。因為錐狀細胞主要感知色彩，桿狀細胞只能感受強度，桿狀細胞多並不能識別出蛇、田鼠等物體，故鷹眼視力好主要是因為錐狀細胞的數量很多。除此之外，鷹眼有兩個中心，即有兩個注意力。
利用眼動實驗可以看出哪個地方的資訊最先被看到，結果如圖：
其中，圓圈的大小表示停留的時間，圓圈的顏色代表觀察的時間順序，暖色調表示先，冷色調表示後。
視覺的焦點集中在中心、標籤、圖例。
由此，在視覺化時，我們可以將標題、有用的資訊標註在人們更容易注意的地方；圖例、表例應該盡量詳細。具體到**排版，則可以盡量把好看的圖表放在上面，尤其是左上。
除此之外，注意力機制也廣泛應用在cnn、gan等ai相關技術中。
參考：《可視資料分析》ppt及課堂內容
注意力機制的理解（借鑑）
如圖是在文字處理領域的encoder decoder框架。encoder 對輸入句子進行編碼，通過非線性比變換轉化為中間語義表示c decoder 根據中間語義c和之前的歷史資訊，生成輸出語句 每個yi都是依次產生的。上圖中展示的encoder decoder框架是沒有體現出 注意力模型 的，可以看...
引入知識注意力機制的實體分類
細粒度實體型別分類的神經網路結構 這篇 來自清華大學劉知遠老師，發表於2018年。關於這篇 還是有許多沒有讀懂的地方，暫時先簡要的說一下 的核心 知識是怎樣被引入注意力神經網路的。首先貼一下整體的模型 不難看出，和前兩篇 的模型相比，最大的區別還是右側query vector，也就是將知識庫知識引入...
（多頭）自注意力機制的PyTorch實現
用於學習和複習的兩份自注意力機制實現 使用了縮放點積作為打分函式，因此key和query的維數是一樣的，實現很簡單。from math import sqrt import torch import torch.nn as nn class selfattention nn.module dim i...