語義分割概述

2021-09-28 10:34:10 字數 1710 閱讀 6447

本文大多來自方便讀*****使用

影象語義分割(semantic segmentation),從字面意思上理解就是讓計算機根據影象的語義來進行分割,例如讓計算機在輸入下面左圖的情況下,能夠輸出右圖。語義在語音識別中指的是語音的意思,在影象領域,語義指的是影象的內容,對意思的理解,並對不同部分進行標註,圖中紅色部分為人,綠色部分為自行車:

目前語義分割的應用領域主要有

地理資訊系統

可以通過訓練神經網路讓機器輸入衛星遙感影像,自動識別道路,河流,莊稼,建築物等,並且對影象中每個畫素進行標註。(下圖左邊為衛星遙感影像,中間為真實的標籤,右邊為神經網路**的標籤結果,可以看到,隨著訓練加深,**準確率不斷提公升。使用resnet fcn網路進行訓練)

無人車駕駛

語義分割也是無人車駕駛的核心演算法技術,車載攝像頭,或者雷射雷達探查到影象後輸入到神經網路中,後台計算機可以自動將影象分割歸類,以避讓行人和車輛等障礙。

醫療影像分析

隨著人工智慧的崛起,將神經網路與醫療診斷結合也成為研究熱點,智慧型醫療研究逐漸成熟。在智慧型醫療領域,語義分割主要應用有腫瘤影象分割,齲齒診斷等。(下圖分別是齲齒診斷,頭部ct掃瞄緊急護理診斷輔助和肺癌診斷輔助)

機械人等領域

語義分割中的深度學習技術

1.全卷積神經網路 fcn(2015)

**:fully convolutional networks for semantic segmentation

全卷積神經網路主要使用了三種技術:卷積化(convolutional)、上取樣(upsample)、跳躍結構(skip layer)

2.segnet(2015)

**:a deep convolutional encoder-decoder architecture for image segmentation

主要貢獻:將最大池化指數轉移至解碼器中,改善了分割解析度。

3.空洞卷積(2015)

**:multi-scale context aggregation by dilated

主要貢獻:使用了空洞卷積,這是一種可用於密集**的卷積層;提出在多尺度聚集條件下使用空洞卷積的「背景模組」。

4.deeplab(2016)

**:deeplab: semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected crfs

主要貢獻:使用了空洞卷積;提出了在空間維度上實現金字塔型的空洞池化atrous spatial pyramid pooling(aspp);使用了全連線條件隨機場。

語義分割概述

影象語義分割 一 影象語義分割含義及原理 含義 對分割後的影象加上語義標籤 用不同的顏色代表不同類別的物體 就是給分割後影象中的每一類物體加上標籤,輸入一般是彩色深度 rgb d 影象。要求 1 分割得到的不同區域內部平整,其紋理和灰度有相似性 2 相鄰語義分割區域對分割所依據的性質有明顯的差異 3...

語義分割綜述

目前語義分割的流行框架可以分為前端 後端。前端採用fcn定位不同類別的物體,後端採用rf crf mrf 精確定位物體邊界。也就是說,前端解決 是什麼 what 後端解決 在 where 可以把語義分割網路分為兩類 以fcn為代表的編解碼器 encode decode 網路 以deeplab為代表的...

初識語義分割

正式接觸語義分割應該是2018年3月份左右的事情了。在此之前,作為一名遙感專業的學生,我所接觸最多的和語義分割相關的詞應該是遙感影象分類。遙感常應用於進行大面積土地利用調查,因此給定一幅遙感影象,需要按照建築物,地面,農田,河流等地面場景將其劃分為不同的類別,這與語義分割的目標是完全一致的,只不過應...