自監督場景去遮擋

2021-10-06 20:22:38 字數 592 閱讀 7012

1. 兩兩鄰接的物體之間的順序恢復。有了pair-wise ordering之後,我們就可以得到乙個描述場景遮擋關係的有向圖,稱之為遮擋關係圖(occlusion graph)。

2. amodal completion。在遮擋關係圖中,我們可以檢索到任意乙個物體被哪些物體遮擋了,這樣我們就可以進行amodal completion步驟,把物體完整的mask恢復出來。

3. content completion。有了amodal mask之後,我們就知道了物體的被遮擋區域(不可見部分),那麼下一步就可以想辦法在不可見部分填充rgb內容,使得這個物體完整的樣子被恢復出來。

我們現在有的資料報括rgb的,modal mask和物體類別。modal mask是指物體可見部分的mask,其實就是一般意義的instance segmentation的mask。這些其實正好構成了乙個instance segmentation的資料集,例如coco,kitti,lvis這些。注意這樣的資料集裡並沒有遮擋關係和amodal mask的標註,所以用有監督學習的思路是無法解決上述問題的。

**:

**

自監督學習 對比學習自監督

關於bert的無監督聚類的一些說法 1.首先一點是在不finetune的情況下,cosine similairty絕對值沒有實際意義,bert pretrain計算的cosine similairty都是很大的,如果你直接以cosine similariy 0.5之類的閾值來判斷相似不相似那肯定效果...

自監督學習之SimCLR總結

本文提出了simclr 乙個生成視覺表達 representation 的簡單對抗學習框架。我們簡化了近些年提出的對抗學習的框架,我們的演算法不需要特殊的結構和龐大的儲存體 memory bank 為了理解到底什麼使得這種對抗學習能夠學得有用3的表達,我們系統的研究了我們框架中的基本的元件 1.資料...

AI教父的自監督直覺 SimCLR

擋在大規模ai應用從ppt到gdp征途中的最大障礙 巨大的資料標註成本,是乙個棘手的問題。簡單如識別一張圖中是否有喵,就得動輒上萬張各種姿勢的喵圖外帶上萬張不是喵的圖餵給饕餮一樣的神經網路。這裡面的痛點就是你不僅要蒐集這些圖,還得劃分每張圖的種類,那如果要搞乙個能識別所有動物的機械人得花費多少心血。...