翻譯自qure.ai
什麼是語義分割
對的每個畫素都做分類。
較為重要的語義分割資料集有：voc2012 以及 mscoco 。
有哪幾種方法
傳統機器學習方法：如畫素級的決策樹分類，參考textonforest 以及 random forest based classifiers 。再有就是深度學習方法。更確切地說，是卷積神經網路。
深度學習最初流行的分割方法是，打補丁式的分類方法 ( patch classification ) 。逐畫素地抽取周圍畫素對中心畫素進行分類。由於當時的卷積網路末端都使用全連線層 ( full connected layers ) ，所以只能使用這種逐畫素的分割方法。
2023年，來自伯克利的 fully convolutional networks(fcn) 卷積網路，去掉了末端的全連線層。隨後的語義分割模型基本上都採用了這種結構。除了全連線層，語義分割另乙個重要的問題是池化層。池化層能進一步提取抽象特徵增加感受域，但是丟棄了畫素的位置資訊。但是語義分割需要類別標籤和原影象對齊，因此需要從新引入畫素的位置資訊。有兩種不同的架構可以解決此畫素定位問題。
第一種是編碼-解碼架構。編碼過程通過池化層逐漸減少位置資訊、抽取抽象特徵；解碼過程逐漸恢復位置資訊。一般解碼與編碼間有直接的連線。該類架構中u-net 是最流行的。
第二種架構是膨脹卷積 ( dilated convolutions ) ，拋棄了池化層。使用的卷積核如下圖。
條件隨機場的後處理 經常用來提高分割的精確度。後處理利用影象的光感強度（可理解為亮度），將周圍強度相近的畫素分為同一類。能提高 1-2 個百分點。
文章彙總
按時間順序總結八篇*****，看語義分割的結構是如何演變的。分別有fcn 、segnet 、dilated convolutions 、deeplab (v1 & v2)、refinenet 、pspnet 、large kernel matters 、deeplab v3 。
fcn2023年
主要的貢獻：
說明：比較重要的發現是，分類網路中的全連線層可以看作對輸入的全域卷積操作，這種轉換能使計算更為高效，並且能重新利用 imagenet 的預訓練網路。經過多層卷積及池化操作後，需要進行上取樣，fcn 使用反卷積（可學習）取代簡單的線性插值演算法進行上取樣。
segnet2023年
編碼-解碼架構
主要貢獻：
u-net 有更規整的網路結構，通過將編碼器的每層結果拼接到解碼器中得到更好的結果。
dilated convolutions2023年
通過膨脹卷積操作聚合多尺度的資訊
主要貢獻：
(a)原始的 3×33×3卷積，1-dilated，感受野為 3×33×3；
(b)在(a)的基礎上進行 3×33×3卷積，2-dilated，感受野為 7×77×7；
(c)在(b)的基礎上進行 3×33×3卷積，4-dilated，感受野為 15×1515×15；
由於padding和卷積的stride=1，卷積前後feature map大小可以保持不變，但每個元素的感受野指數增大。link
膨脹卷積在 deeplab 中也被稱為暗黑卷積 (atrous convolution) 。此卷積能夠極大的擴大感知域同時不減小空間維度。本模型移去了vgg網的最後兩層池化層，並且其後續的卷積層都採用膨脹卷積。
作者還訓練了乙個模組，輸入卷積結果，級聯了不同膨脹係數的膨脹卷積層的，輸出和輸入有一樣的尺寸，因此此模組能夠提取不同規模特徵中的資訊，得到更精確的分割結果。
最後**結果圖是原圖的八分之一大小，文章使用插值得到最後的分割結果。
deeplab (v1 & v2)2014 & 2016
主要貢獻：
refinenet2023年
主要貢獻：
採集多尺度資訊的方法
對比模型
分數 (voc2012)
fcn67.2
segnet
59.9
dilated convolutions
75.3
deeplab (v1 & v2)
79.7
refinenet
84.2
pspnet
85.4
large kernel matters
83.6
deeplab v3
85.7
深度學習語義分割馬拉松000 序言
dftba 本人做醫療影象處理相關的業務，主要是使用語義分割方面的工作。最近在工作中看到了之前同事收集的語義分割相關的文件，基本把語義分割的歷史程序梳理了一遍。但是感覺美中不足的是，像網上許多講解性的文章一樣，更多的是分析 從理論角度來討論如何實現等問題，卻沒有真正的實現 以及相關的測試環境，所以想...
學習「語義網格」
雖然在ian foster和carl kesselman的書中幾乎對jeffery等人的網格分層觀點 1 持否定態度 然而認為網格可以分為資料 資訊和知識三層並將這種想法付諸r d實施的大有人在。ian和carl認為這個觀點有其侷限性，通常計算 資料和知識是彼此不可分割的，特別是知識不僅駐留在網格應...
語義分割相關總結
好吧，實習期間學到的東西超多的，還看了一些語義分割相關的內容，嘿嘿 綜述 語義分割簡單來說就是畫素級別的分類問題，以往我們做的分類問題只能分出一張單個物體的類別，然而當這個中有多個物體的時候它可能就會傻眼了 當然用muti label也可以做，但是一般的分類任務都是單標籤的 而語義分割的作用就是能分...