CVPR2020 例項分割

2021-10-04 10:07:04 字數 2139 閱讀 2003

例項分割

hao chen陳昊 cvpr2020 blendmask例項分割

coco上評價指標 map 每個例項,每張圖選100個結果

ap:每個結果與gt算iou 0.5:0.05:0.95 十個取平均

coco泛化性好,不容易過擬合

缺:coco標註不過精細

但是這個評價指標沒有對更關注邊界畫素的情況,只是檢測的iou遷移過來的

cascade r-cnn , mask rcnn。 cascade r-cnn等都是基於mask的

fpn輸入1414

channel都是256

缺:fpn的輸入和roi過程下取樣過多,細節丟的太多(1414)

pointrend:

想提公升二階段例項的解析度,(把有鋸齒的部分細節恢復)

pointrend vs blend mask

blend可以用更小的解析度做到更小,

mask第二階段需要0.7g的flops

blend更少

solo(和mask有點相當了)

分類問題監督明確,focal loss,增加一組座標系,

使用fpn,把一張圖的結果分散到不同map中,減少了每張圖的複雜程度

缺:場景非常複雜時,分類問題平方級的變難,high level資訊不夠,僅僅是通過絕對位置座標來關聯融合

solov2有提高

缺:乙個點**整個例項時,

instancefcn

每個feature map區域性只做區域性的事,只判斷物體的一部分

原版比mask r-cnn慢

對例項進行定位,大概估計出例項姿態

fcis

nearestneighbor+ one-hot

masklab

檢測框,對檢測框分成3x3或者小格,再分別處理

yolact

channel組合

fcis空間組合+yolact的channel組合

更平滑的空間組合方式進行差值(不是切格仔,比較靈活)

算是三維attention

4個 score maps (yolact32個, fcis49個)

top module

輸出三維attention,fcos加了一層卷積

bottom module

blender

橙色是檢測模組

藍色是top mpdule

綠色是語義分割

四組顏色代表四個channel,即4個score map

attention捕捉到的就是姿態

bottom中,s對應的是8,即上取樣到1/8

kxmxm , k 是4 , m是7或者14

通過雙線性差值平鋪到例項上,加權求和得到最終結果

對比試驗:

物體局部分的好一些

solov算是one-stage

語義分割 例項分割 全景分割的關係和區別

這三者的區別請參考超畫素 語義分割 例項分割 全景分割 傻傻分不清?簡單來說 1.語義分割是最簡單的,對每個畫素做分類,比如說將這幅影象分為人和汽車。但是具體有三個人,無法對這三個人做具體區分。注意是每乙個畫素點,不分前景 背景。2.例項分割是在語義分割的基礎上,對這三個人做具體區分,分出甲 乙 丙...

超畫素 語義分割 例項分割 全景分割 傻傻分不清?

在計算機視覺中,影象分割是個非常重要且基礎的研究方向。簡單來說,影象分割 image segmentation 就是根據某些規則把中的畫素分成不同的部分 加不同的標籤 影象分割中的一些常見的術語有 superpixels 超畫素 semantic segmentation 語義分割 instance...

例項分割Topic推薦 AMiner

必讀 集位址 5ffac18292c7f9be214fd814 例項分割 instance segmentation 是視覺經典四個任務中相對最難的乙個,它既具備語義分割 semantic segmentation 的特點,需要做到畫素層面上的分類,也具備目標檢測 object detection ...