FPN PAN結構學習

2021-10-12 12:22:39 字數 1005 閱讀 3138

yolo4的neck結構採用該模式,我們將neck部分用立體圖畫出來,更直觀的看下兩部分之間是如何通過fpn結構融合的。

如圖所示,fpn是自頂向下的,將高層特徵通過上取樣和低層特徵做融合得到進行**的特徵圖。neck部分的立體影象,看下兩部分是如何通過fpn+pan結構進行融合的。

和yolov3的fpn層不同,yolov4在fpn層的後面還新增了乙個自底向上的特徵金字塔。這樣結合操作,fpn層自頂向下傳達強語義特徵,而特徵金字塔則自底向上傳達強定位特徵,兩兩聯手,從不同的主幹層對不同的檢測層進行引數聚合,這樣的操作確實很皮。

自底向上增強

如上圖中所示,fpn是自頂向下,將高層的強語義特徵傳遞下來,對整個金字塔進行增強,不過只增強了語義資訊,對定位資訊沒有傳遞,而本文就是針對這一點,在fpn的後面新增乙個自底向上的金字塔,可以說是很皮了。這樣的操作是對fpn的補充,將低層的強定位特徵傳遞上去,個人稱之為」雙塔戰術「。

參考:fpn還是pan或者後面的bifpn都是類似的結構。fpn的理念就是增強不同層特徵融合,在多尺度上進行**。pan在fpn的基礎上又加了從下到上的融合。

我們都知道,深層的feature map攜帶有更強的語義特徵,較弱的定位資訊。而淺層的feature map攜帶有較強的位置資訊,和較弱的語義特徵。fpn就是把深層的語義特徵傳到淺層,從而增強多個尺度上的語義表達。而pan則相反把淺層的定位資訊傳導到深層,增強多個尺度上的定位能力。

再聯想後來的bifpn,語義特徵和定位資訊在串聯的fpn/pan結構中被像踢皮球一樣的「傳來傳去」…

————————————————

最後說一下全連線作用:全連線層其實可由卷積實現,可看作感受野為整個特徵圖的卷積核,所以全連線層是感受野更大的卷積,另外,這裡的卷積引數不共享,每個畫素點擁有乙個卷積核,

結構學習 介紹

所謂的結構學習就是輸入或者輸出是有結構的資料,比如說語句 列表 樹和識別時的邊界框 bounding box 而在之前的學習之中,輸入和輸出都是向量。在結構學習中,我們需要學習的是乙個函式 f 如下圖所示,它的輸入是一種形式,而輸出是另一種形式。主要的應用方向如下 結構學習具有乙個統一的框架,可以表...

Innodb 表結構學習

眾所周知,innodb主鍵聚集索引,index organized table 那麼沒有主鍵的時候,找非空唯一索引,或者自動建立6byte大小的指標,但是它自動建立的索引你是沒辦法拿來做主鍵過濾的 非空唯一索引如果有多個,按照 定義 順序選擇第乙個 select rowid from talbe 其...

資料結構學習

什麼是資料結構 對計算機記憶體中的資料的一種安排。資料結構有那些?優缺點?1.陣列 插入快 知道下標 查詢慢,刪除慢,大小固定 2.有序陣列 比無序的查詢塊,刪除和插入慢,大小固定 3.棧 吃多了吐 個人理解 4.佇列 吃多了拉 個人理解 5.鍊錶 插入快,刪除快,查詢慢 6.二叉樹 查詢 插入 刪...