計算機視覺中的注意力機制

外部世界的資訊是豐富多樣的，但是我們大腦的計算能力是有限的。所以人類會有選擇的分析我們認為重要的那部分資訊，忽略其他不重要的資訊。這種能力就叫做注意力。

注意力可分為兩種：

自上而下的有意識的注意力，稱為聚焦式注意力。（主要討論）

自下而上的無意識的注意力，稱為基於顯著性的注意力。

在計算機視覺領域，注意力機制被引入來進行視覺資訊處理。注意力是一種機制，或者方**，並沒有嚴格的數學定義。比如，傳統的區域性影象特徵提取、顯著性檢測、滑動視窗方法等都可以看作一種注意力機制。

在神經網路中，注意力模組通常是乙個額外的神經網路，能夠硬性選擇輸入的某些部分，或者給輸入的不同部分分配不同的權重。（最大池化函式、門控機制也可近似看作基於顯著性的注意力機制）。

優勢：1、集中處理主要資訊忽略次要資訊，排除干擾。

2、節約計算資源

深度學習與視覺注意力機制結合的研究工作，大多數是集中於使用掩碼(mask)來形成注意力機制。掩碼的原理在於通過另一層新的權重，將資料中關鍵的特徵標識出來，通過學習訓練，讓深度神經網路學到每一張新中需要關注的區域，也就形成了注意力。

軟性注意力：其選擇的資訊是所有輸入資訊在注意力分布下的期望。學習完成後直接可以通過網路生成，最關鍵的地方是軟注意力是可微的，這是乙個非常重要的地方。可以微分的注意力就可以通過神經網路算出梯度並且前向傳播和後向反饋來學習得到注意力的權重。

硬性注意力：只關注到某一位置上的資訊。

可通過選取最高概率的輸入資訊或通過在注意力分布式上隨機取樣的方式實現。

因為是基於最大取樣或隨機取樣的方式實現，因此最終損失函式與注意力分布之間的函式關係不可導，通常採用強化學習方法進行訓練。

通過注意力機制，將原始中的空間資訊變換到另乙個空間中並保留關鍵資訊。

給每個通道上的訊號都增加乙個權重，來代表該通道與關鍵資訊的相關度，權重越大則表示相關度越高。