深度學習中的注意力機制從本質上講和人類的選擇性視覺注意力機制類似，核心目標也是從眾多資訊中選擇出對當前任務目標更關鍵的資訊注意力機制就是一種加權
卷積是如何提取特徵的？ 卷積操作實際上是向量的內積，而兩個向量的內積代表他們的相關程度
卷積是是乙個線性的過程，為了增加非線性特徵，加入了池化層和啟用層。這個過程是一系列矩陣乘法和元素對應非線性乘法，特徵元素用過加法相互作用。
注意力機制加入了對應元素相乘，可以加大特徵的非線性，而且簡化了其他運算
硬注意力：和影象的裁剪類似
軟注意力：
高斯注意力機制：通過利用引數化的一維高斯濾波器來建立影象大小的注意力圖
**位址：
空間域：內容的注意力機制
通道域：通道之間的注意力機制
時間域：一種硬注意力機制，加入時間資訊
混合域內容和通道的注意力融合
**位址：
**位址：
**位址：
空間注意力機制就是通過，一定的方法訓練出乙個變換空間，用來感受我們的目標位置。並且新增到後續的網路中增加訓練效果。
通道注意力也就是通過學習，增強有用特徵的占用比、
注意力機制
從網路結構本身的角度出發，可以從以下四個維度來提公升卷積神經網路的效能，分別是 深度 resnet 寬度 wideresnet 基數 resnext 和注意力 senet 一般來說，網路越深，所提取到的特徵就越抽象 網路越寬，其特徵就越豐富 基數越大，越能發揮每個卷積核獨特的作用 而注意力則是一種能...
注意力機制
深度學習中的attention，源自於人腦的注意力機制，當人的大腦接受到外部資訊，如視覺資訊 聽覺資訊時，往往不會對全部資訊進行處理和理解，而只會將注意力集中在部分顯著或者感興趣的資訊上，這樣有助於濾除不重要的資訊，而提最早將attention利用在影象處理上的出發點是，希望通過乙個類似於人腦注意力...
attention注意力機制學習
目前主流的attention方法都有哪些？jaylou婁傑的回答 知乎 目前主流的attention方法都有哪些？張戎的回答 知乎 attention機制解讀 高峰ouc的文章 知乎 transformer詳解 一 attention機制詳解 被包養的程式猿丶的文章 知乎 簡說seq2seq原理及實...