ROI Pooling(感興趣區域池化) 筆記

2021-09-25 18:57:52 字數 2154 閱讀 4372

引言

感興趣區域池化(region of interest pooling)(也稱為roi pooling)是使用卷積神經網路在目標檢測任務中廣泛使用的操作。例如,在單個影象中檢測多個汽車和行人。其目的是對非均勻尺寸的輸入執行最大池化以獲得固定尺寸的特徵圖(例如7×7)。

計算機視覺中的兩個主要任務是物件分類目標檢測。在第一種情況下,系統應該正確地標記影象中的主要物件。在第二種情況下,它應該為影象中的所有物件提供正確的標籤和位置。當然還有其他有趣的計算機視覺領域,例如影象分割,但今天我們將專注於檢測。在這個任務中,我們通常應該從先前指定的一組類別中的任何物件周圍繪製邊界框,並為每個類別分配乙個類。例如,假設我們正在開發一種自動駕駛汽車的演算法,我們想用相機來檢測其他汽車,行人,騎自行車者等等 - 我們的資料集可能看起來像這樣。

那麼問題來了

經典架構

我們今天要討論的物件檢測架構分為兩個階段:1. 區域建議(region proposal):給定輸入影象查詢可以定位物件的所有可能位置。此階段的輸出應該是物件的可能位置的邊界框列表。這些通常被稱為區域提案或感興趣的區域。2. 最終分類(final classification):對於前一階段的每個區域提案,確定它是屬於目標類別之一還是屬於背景。在這裡,我們可以使用深度卷積網路。

通常在提案(region proposal)階段,我們必須生成許多感興趣的區域。為什麼?如果在第一階段(區域提議)中未檢測到物件,則無法在第二階段對其進行正確分類。這就是為什麼這個地區的提案有很高的召回率非常重要。這是通過生成大量提案(例如,每幀幾千)來實現的。在檢測演算法的第二階段中,大多數將被歸類為背景。

這種架構的一些問題是: - 生成大量感興趣的區域可能會導致效能問題。這將使實時物件檢測難以實現。 - 它在處理速度方面不是最理想的。稍後會詳細介紹。 - 你無法進​​行端到端的培訓,也就是說,你無法在一次執行中訓練系統的所有元件(這會產生更好的結果)

這就是感興趣區域池化所要發揮作用的地方.

**感興趣區域池化 - 描述**

感興趣區域池化是用於目標檢測任務的神經網路層。它最初是由ross girshick在2023年4月提出的(文章可以在這裡找到),它實現了培訓和測試的顯著加速。它還保持高檢測精度。該圖層有兩個輸入:

從具有多個卷積和最大池層的深度卷積網路獲得的固定大小的特徵對映。

表示感興趣區域列表的n×5矩陣,其中n是roi的數量。第一列表示影象索引,其餘四列是區域左上角和右下角的座標。

pascal voc資料集的影象,注釋了區域提案(粉紅色矩形)

roi池實際上做了什麼?對於來自輸入列表的每個感興趣區域,它採用與其對應的輸入特徵圖的一部分並將其縮放到某個預定義的大小(例如,7×7)。縮放通過以下方式完成:

將區域提案劃分為相等大小的部分(其數量與輸出的維度相同)

找到每個部分的最大值

將這些最大值複製到輸出(max pooling)

結果是,從具有不同大小的矩形列表中,我們可以快速獲得具有固定大小的相應特徵對映的列表。請注意,roi池輸出的維度實際上並不取決於輸入要素對映的大小,也不取決於區域提議的大小。它僅由我們將提案劃分為的部分數量決定。roi匯集有什麼好處?其中之一是處理速度。如果框架上有多個物件建議(並且通常會有很多物件建議),我們仍然可以為所有這些建議使用相同的輸入要素圖。由於在處理的早期階段計算卷積非常昂貴,因此這種方法可以為我們節省大量時間。

**感興趣區域池化 - 例子**

讓我們考慮乙個小例子,看看它是如何工作的。我們將在單個8×8特徵圖上執行感興趣區域,乙個感興趣的區域和2×2的輸出大小。我們的輸入要素圖如下所示:(以下為影象,一般處理時轉化畫素為對映到0~1的實數,保持精度)

這是感興趣區域池化層的輸出。這是我們以動畫形式呈現的示例:

關於roi pooling最重要的事情是什麼?

參考:region of interest pooling explained

感興趣區域ROI

roi在目前的理解看來就是擷取影象的一部分進行想要的操作,比如要在一張圖的任意地方嵌入另一張圖,首先要做的事就是把要嵌入的所覆蓋的這塊地方圈出來,然後把要嵌入的放到這個框框裡就行了 建立roi的兩種方法 1 imgroi image rect x,y,width,height 直接指定一塊矩形,選出...

2 3 感興趣區域(ROI)

一 roi介紹 二 操作 一 roi介紹 我們可能對影象中的某乙個特定區域感興趣,改區域稱為感興趣區域 region of interest,roi 二 操作 1 顯示一幅影象的感興趣區域 image 200 400,200 400 例1 2 在同一影象中,將乙個區域複製到另乙個區域 image 2...

opencv學習之感興趣區域(ROI)

新手學習就是苦啊,好多東西都要一點點的摸索,之前的經驗太少,積累太少,許多問題太簡單了,問別人都不好開口,誰讓自己太low了啊!那就自己折騰唄 今天看了opencv的矩陣和影象操作部分內容,這裡把這折騰的過程弄上來了 書上給了兩種獲得感興趣矩形區域的方式 乙個是直接用函式 cvsetimageroi...