目標分割part1

2021-10-04 19:45:18 字數 1838 閱讀 4270

影象分割

cv三大任務:影象分類、目標檢測、目標分割

普通分割:將不同分屬不同物體的畫素區域分開

語義分割:分類出每一塊區域的語義(這塊區域是什麼東西)

例項分割:給每個物體編號,persona、personb

資料集:

pascal voc

ms coco

fcn2023年提出(**fully convolutional networks for semantic segmentation);

用於影象語義分割,將影象級別的分類擴充套件到畫素級別的分類

直觀檢視網路結構

fcn詳解

cnn與fcn

通常cnn網路在卷積之後會接上若干個全連線層,將卷積層產生的特徵圖(feature map)對映成為乙個固定長度的特徵向量。一般的cnn結構適用於影象級別的分類和回歸任務,因為它們最後都期望得到輸入影象的分類的概率,

fcn對影象進行畫素級的分類,從而解決了語義級別的影象分割問題;與經典的cnn在卷積層使用全連線層得到固定長度的特徵向量進行分類不同,fcn可以接受任意尺寸的輸入影象,採用反卷積層對最後乙個卷積層的特徵圖(feature map)進行上取樣,使它恢復到輸入影象相同的尺寸,從而可以對每乙個畫素都產生乙個**,同時保留了原始輸入影象中的空間資訊,最後在上取樣的特徵圖進行逐畫素的分類。全卷積網路(fcn)是從抽象的特徵中恢復出每個畫素所屬的類別。即從影象級別的分類進一步延伸到畫素級別的分類

fcn將傳統cnn中的全連線層轉化成乙個個的卷積層;在傳統的cnn網路中,前5層是卷積層,第6和第7層分別是長度為4096的一維向量,第8層是長度為1000的一維向量,分別對應1000中類別的概率;fcn將最後這三層替換為全卷積層,卷積核的大小(通道數,寬,高)分別是(4096,7,7,)(4096,1,1)、(1000,1,1)

總之:fcn與cnn的區別在於fcn把cnn最後的全連線層換成卷積層,輸出一張已經label好的圖。

基本架構:

fcn可以接受任意尺寸的輸入影象,採用轉置卷積層對最後乙個卷積層的feature map進行上取樣,使它恢復到輸入影象相同的尺寸,可以對每個畫素都產生乙個**,同時保留輸入影象中的空間資訊,最後在上取樣的特徵圖中進行逐畫素分類;深度為:20個種類+1個背景=21

逐畫素分類

最後對原影象進行upsampling,把影象進行放大到原影象的大小。

優點:

fcn能夠end-to-end, pixels-to-pixels,相比於傳統的基於cnn做分割的網路更加高效,因為避免了由於使用畫素塊而帶來的重複儲存和計算卷積的問題。

1、 是得到的結果還是不夠精細。進行8倍上取樣雖然比32倍的效果好了很多,但是上取樣的結果還是比較模糊和平滑,對影象中的細節不敏感。

2、 是對各個畫素進行分類,沒有充分考慮畫素與畫素之間的關係。忽略了在通常的基於畫素分類的分割方法中使用的空間規整(spatial regularization)步驟,缺乏空間一致性。

skip結構

目標分割的標註軟體:labelme

目標檢測part1

1 1卷積 googlenet inception 可看作全連線 1 增加非線性 2 特徵降維 空洞卷積 在相同的感受野的情況下,使用空洞卷積得到更大的特徵圖,獲得更密集的資料,而更大的特徵圖有助於目標檢測和目標分割任務中對小物體的識別分割效果 轉置卷積 不是真正意義上的反卷積,是一種上取樣的方式,...

部落格推薦 Part 1

部落格推薦 part 1 博起 了一年多了,寫過一百多篇博文,看過的博文更是不計其數。剛剛看到乙個部落格的文章,實在把我笑到不行。然後就想推薦給大家。繼而就心血來潮,想把自己喜歡的一些部落格陸續的推薦給大家。也許,你也會喜歡呢?說明 仙仙,本名張仙!是湖南的一位autoware兄弟,跟我一起混跡內蒙...

C Handle 控制代碼 part1

本文是我學習c 沉思錄第6章的筆記 本文主要講述了handle類的概念,定義方法以及寫時複製技術。在前文 surrogate 類 的講解中我們了解到了 的實現方法.類有很多好處,但是麻煩的是每次都得進行複製.如果該類是經常使用並且member很多的話,這樣複製的消耗是十分客觀的.因此這裡就要介紹另外...