語義分割 常見方法 綜述

2021-10-23 06:35:30 字數 1451 閱讀 7615

背景:

語義分割,就是將影象中感興趣的目標進行識別,並將其標記出來( involves partitioning images (or video frames) into multiple segments or objects)的過程,隨著影象處理和計算機視覺的大熱,對語義分割的準確率和速度要求也不斷提高。過去的語義分割,通常使用機器學習的方法,隨著13年,特別是15年後的深度神經網路大火,新出現的語義分割模型,也大多使用深度神經網路。

語義分割的分類:

1、對一張中,單個物件進行標記

2、對一張中,所有感興趣物件進行標記(predicts a single label for the entire image)

目前研究的重點和難點,是第二種情況。嚴格來說,第二種情況的實現,是通過將第一中情況,與例項分割( instance segmentation)相結合來實現的。

語音分割(dl)的主要方法:

fully convolutional networks:

全卷積網路方法

convolutional models with graphical models:

卷積+圖模型

encoder-decoder based models:

編碼——解碼 模型

multi-scale and pyramid network based models:

金字塔網路,以實現可以應對不同size的輸入,避免因對輸入進行resize而造成的影象失真

r-cnn based models (for instance segmentation):

區域卷積網路,使用 候選框+分類+predict mask 三重網路

dilated convolutional models and deeplab family:

擴大卷積,為了在獲得更大的感受野的同時,不會增加太多計算量而提出的演算法。比起原始的卷積方法,擴大卷積在獲得相同感受野的前提現,要計算的引數通常會呈幾何倍減少,而且感受野越大,效果越明顯。擴大卷積的提出,使得實時分割( real-time segmentation)得以實現。

recurrent neural network based models:

因為相鄰畫素點之間是有關聯的,並不是單獨存在的,所以模型提出,不用cnn,而是改用支援前後資訊關聯的rnn模型。這裡模型通過四個方向的順序(從左向右,從右向左,從上向下,從下向上)來對影象提取資訊。

attention-based models:

在傳統深度網路中新增了注意力機制。

generative models and adversarial training:

基於生成對抗的思想,g model 輸入原始影象,輸出分割影象;d model 輸入g生成的影象和人工分割的影象,輸出0 or 1(判斷是假 or 真)。

convolutional models with active contour models

other models

語義分割綜述

目前語義分割的流行框架可以分為前端 後端。前端採用fcn定位不同類別的物體,後端採用rf crf mrf 精確定位物體邊界。也就是說,前端解決 是什麼 what 後端解決 在 where 可以把語義分割網路分為兩類 以fcn為代表的編解碼器 encode decode 網路 以deeplab為代表的...

語義分割之損失函式綜述

來自cvpr2020,a survey of loss functions for semantic segmentation code 作者彙總了在語義分割領域中常用的幾種損失函式,並列出其適用場景。同時,作者也剔除了一種新的損失函式 log cosh dice loss function a b...

Java Collection常見方法

collection的常見方法 1 新增 boolean add object obj 新增單個物件 boolean addall collection coll 新增集合 2 刪除 boolean remove object obj 刪除單個物件 boolean removeall collect...