演算法部分 分割網路雜項檢測

2021-10-10 08:59:07 字數 2292 閱讀 5190

二. 分割網路

三. 工程部署

總結神經網路目標分割是把目標對應的部分分割出來,分為例項的分割(instance-level)和場景分割(scene-level),解決每乙個畫素屬於哪個目標物或場景的問題。語義分割按物件的內容進行影象得分割,分割的依據是內容,即物件類別。例項分割:按物件個體進行分割,分割的依據是單個目標。

1. 1 菸盒雜項檢測,部署在鄭州**葉天香產線視覺檢測工位二,檢測內容:合格證是否放入或者多放、乾燥劑是否倒出、同時絲帶是否放置在中間。其中合格證列印日期會發生變化,但是材質不會變化,乾燥級不同批次外包裝會發生小範圍的變化,主要是白色的材質不同的顏色印刷,絲帶的材質保持不變。

1.2 菸盒雜項如下圖所示

2.1 該專案是2023年蘇州機械人展覽會的乙個專案,檢測表面是否存在汙點劃痕等缺陷。

2.2 名片盒表面缺陷如下圖所示

3.1 該專案是2023年**葉產線工位三,第八個和第九個相機的塑封薄膜摺痕檢測專案。

3.2 塑封薄膜摺痕如下圖所示

不同的網路做簡要介紹, 包括經典網路介紹和實時網路介紹兩部分。

1.1 經典網路如下:

1.2 實時分割演算法:

enet:精度向效率的轉化。erfnet:對resnet和enet的改進。

工程採用unet作為分割網路,根據unet的結構,能夠結合底層和高層的特徵資訊。在深層資訊,多次下取樣獲取分割目標在整個影象中的上下文資訊,即目標和環境之間的關係特徵。在淺層資訊多次採用上取樣,並且在每個stage使用了跳層鏈結,skip connection, 不只是在高層語義特性的監督和回歸。使得不同的scale的feature 得到融合。

工程中的樣本與醫學影象具有相同的共性,影象語義較為簡單、結構較為固定,而且數量較少,選擇unet做分割網路。

1.1 tensorflow的訓練,菸盒雜項的訓練

資料的製作需要lablme進行標註,由json檔案裝換成目標影象,需要儲存成bmp圖形,一旦儲存成jpg影象,在菸盒雜項檢測的專案準確率明顯的降低。同時影象的解析度保證是8或者16的倍數,取決於下次樣的次數。由於網路的推倒採用cpu且cpu的型號是i5,因此在保證準確率可行的前提下,盡可能的壓縮略圖形的尺寸,同時網路的深度和寬度通道數量盡可能的降低。

分割結果如下所示,中間高亮的是是絲帶,灰度次之的是乾燥劑,灰度最暗的是合格證,black是背景。進行後處理inrange二值化和非零畫素數countnonzero判斷各種雜項。

1.2 pytorch的訓練,名片盒的分割引數除錯如下,

a: 在原始的網路訓練結果如圖 2所示, 綠框劃痕檢測出, 紅框劃痕檢測出, 時間為 650ms。

b:如圖3所示在寬度 channels 減半的網路訓練結果, 綠框的劃痕沒檢測出,紅框的劃痕檢測出,原因引數較少, 細節丟失, 處理時間為 300ms 左右。

c:如圖4所示,在寬度 channels 不變, 深度 4 次下取樣的網路, 綠框的劃痕檢測出, 紅框的劃痕效果較好。

d:如圖5所示,在寬度 channels 不變, 深度三次下取樣的網路, 綠框的劃痕檢測出效果減弱,紅框的劃痕效果減弱, 500ms 左右。

e:如圖6所示,在寬度 channels 減半, 深度四次下取樣的網路綠框的劃痕檢測出劃痕斷續,紅框的劃痕減弱效果較好。 處理時間為 300ms 左右。

1.3 塑封膜摺痕的分割如下:

需要模型的freeze處理,同時不支援argmax,需要後處理。

2.2 libtorch+opencv3.4

需要trace的處理,同時c++11的原因,注意與opencv版本的匹配。

unet做影象的分割,從原理介紹到工程部署。

演算法部分整理

1.pca主成分分析 主成分分析 principal component analysis,pca 是一種統計方法。通過正交變換將一組可能存在相關性的變數轉換為一組線性不相關的變數,轉換後的這組變數叫主成分。無監督的學習,往特徵量最大的特徵向量的分銷商投影 pca的主要問題 沒有考慮類別號 進行主成...

排序演算法(部分)

快速排序會犧牲陣列中的乙個資料,所以實際的陣列長度,會比真實的資料多一,其中會將下面所說的標誌位賦值給arr 0 以犧牲陣列中arr 0 為例 快速排序主要思想 在陣列角標從left到right之間,取左邊第乙個數作為標誌位,將標誌位賦值給arr 0 然後分兩步迴圈判斷 這兩步順序不能混亂 1.從右...

《演算法之道》精華 經典演算法部分

折半插入排序 歸併排序 快排 任何基於比較的排序,決策樹高度至少為nlog n 計數排序 基數排序 桶排序 快速次序選擇 求第k大的數 線性最差快速次序選擇 折半搜尋 常數搜尋 雜湊搜尋 乘法雜湊 開放定址雜湊 雜湊碰撞時縱深擴充套件,新增乙個鍊錶 封閉定址雜湊 雜湊碰撞時為元素找到另乙個位置 非線...