從網路結構本身的角度出發，可以從以下四個維度來提公升卷積神經網路的效能，分別是：深度（resnet）、寬度（wideresnet）、基數（resnext）和注意力（senet）。一般來說，網路越深，所提取到的特徵就越抽象；網路越寬，其特徵就越豐富；基數越大，越能發揮每個卷積核獨特的作用；而注意力則是一種能夠強化重要資訊抑制非重要資訊的方法
注意力機制，其本質是一種通過網路自主學習出的一組權重係數，並以「動態加權」的方式來強調我們所感興趣的區域同時抑制不相關背景區域的機制。
目前主流的注意力機制可以分為以下三種：通道注意力、空間注意力以及自注意力（self-attention）
注意力機制
深度學習中的attention，源自於人腦的注意力機制，當人的大腦接受到外部資訊，如視覺資訊 聽覺資訊時，往往不會對全部資訊進行處理和理解，而只會將注意力集中在部分顯著或者感興趣的資訊上，這樣有助於濾除不重要的資訊，而提最早將attention利用在影象處理上的出發點是，希望通過乙個類似於人腦注意力...
注意力機制筆記
本文是對深度學習中的注意力機制做的筆記，並附上注意力機制應用的部分例子。首先，從其功能感受下注意力機制的作用。來自這裡 上圖展示了引入attention後框架的變化 由固定的語義編碼c變為根據輸出不斷變化的 公式中 抽象為更一般的模型如下 相似度計算 階段1 相似度的歸一化 階段2 計算attent...
attention注意力機制
attention注意力機制的定義和本質 顧名思義 注意力機制的意思就是將注意力集中在重要的點上，忽略那些不重要的因素。注意力機制的本質其實就是對特徵分配注意力權重的過程。現在的重點就是注意力權重的獲取過程。encoder decoder模型定義 以機器翻譯為例，來講解attention機制。機器翻...