如下圖所示，缺陷型別主要有缺損和裂紋兩個型別。
語義分割網路
u-net的最初提出是為了醫學影象的分割，現在被越來越多的應用到其它領域。u-net的思想還是很簡單，具體演算法介紹請參考：
u-net分割網路
dsn（缺陷分割網路）
借鑑fcn和u-net網路，在這裡提出了一種新的語義分割網路，dsn（缺陷分割網路），如上圖所示。dsn思想和u-net思想基本一致，不同的是中間採用殘差模組，來加深網路的深度，一般來說，網路越深，對特徵的提取越有效。影象資料在送進網路之前，需要對其進行歸一化。
考慮了兩種不同的分割方式：一種是不保留背景的分割方式，即把缺陷區域標記為前景標籤，把背景區域以及工件的非缺陷區域統一標記為背景標籤，這種方式的好處是最終結果為一張二值圖，可以直接提取到缺陷的特徵;另一種為保留工件的背景以及非缺陷區域，僅把缺陷區域標記為易於區分的畫素值，這種標記方法可以使結
果與原圖的對比更加直觀，且利用多種標籤可以實現對不同缺陷的分類，便於系統的擴充套件。充分考慮兩種分割方法的優缺點，認為後者更適合本系統，因為它能為系統提供更直觀的分割效果，便於人工監督，與此同時，系統的可擴充套件性對於技術的推廣至關重要。
由於目的是需要找到位於工件表面的缺陷區域，沒有必要關注工件中的非缺陷區域以及背景區域的畫素分類問題，所以在標記時只需要對缺陷區域畫素替換為特定的標籤值，而使其他區域畫素值不做改變。為了方便後續採用連通區域標記法進行後續判別，該標籤值必須易於和原圖區分。採用三原色之中的紅色，畫素值為(255, 0, 0 )，作為缺陷標籤，這個標籤對比原圖其他區域區分度明顯，可以使用簡單閾值分割法實現分割，是理想的缺陷
畫素標記值。與此同時，僅對缺陷進行標記能大大地減少人工標註的工作量，易於獲取大量的訓練樣本。
標註好的資料標籤
利用標註好的標籤就可以對語義分割網路進行訓練，這裡根據殘差模組的數量不同，提出了三種模型。訓練後的dsn模型分割效果圖如下所示。其中dsn-i、dsn-ii、dsn-iii分別對應6、9、12個殘差模組。
理論上直接使用dsn網路進行訓練，然後**也是可以的。但是從下圖可以看出，缺陷分割網路對於面積較大的缺陷區域分割效果明顯，但是對於面積較小的缺陷往往容易忽略。另外，對於工件表面一些與缺陷有一定相似程度的自身紋理，缺陷分割網路很容易識別為缺陷區域然後進行標記，這對於演算法的實用性能有很大的影響。
通過分析缺陷分割網路的訓練過程，可以發現網路的最終目的在於是網路的輸出結果盡可能地接近人工標記圖，但是由於小缺陷在圖中所佔的畫素比例過低，在利用反向傳播演算法更新網路引數時，其對引數更新量的影響容易被面積較大缺陷區域的影響所覆蓋，小區域缺陷的特徵提取難以被很好的學習。與此同時，被錯誤標記的區域由於畫素往往較少，所以在訓練中也難以被正確區分。所以缺陷分割網路的一種可行的改進方法是在訓練時對生成的分割影象加入必要的監督手段，增強對於小面積漏檢區域以及錯誤標記區域的反饋，達到更好地訓練缺陷分割網路的目的。
生成式對抗網路模型是一種常用的利用監督手段提高網路資料處理能力的網路訓練手段。這一模型利用乙個分類網路對缺陷分割網路的輸出進行判斷，判斷的結果對缺陷分割網路進行反饋，用於提高缺陷分割網路的影象處理能力。
關於生成對抗網路，網上介紹資料很多，詳細演算法請參考：
如圖所示，dsn-gan訓練模型的生成式模型為缺陷分割網路，與常見的條件生成式對抗模型的訓練方式相同，本文設計的網路也使用交替訓練的方式。
對於作為輸入的一組(包含原圖和標記圖)，首先訓練判別式網路，此時生成式模型引數固定。訓練的目的在於使判別式模型具有可以分辨輸入的影象屬於真實人工標記圖還是生成網路生成的影象，於是訓練過程如下:
然後訓練生成生成式網路，同樣地判別式模型維持引數不變，訓練過程如下：
對於每一對訓練樣本，重複（1）（2）兩個步驟，直到所有訓練樣本都參與到訓練中，則完成一次訓練。當訓練次數達到設定量時，訓練結束。
判別式網路輸出的是乙個1x16x16的feature map，值為1和0。pos標為全1，neg標為全0。
生成對抗網路 生成對抗網路的簡單介紹
近年來，在人工智慧領域深度學習取得了令人矚目的成就，在計算機視覺 自然語言處理等各種領域都取得了突破性的進展。深度學習現今主要是依靠神經網路模型來進行學習的，可大致分為三種基礎模型，首先的就是卷積神經網路 convolutional neural networks,cnns，1998 迴圈神經網路 ...
生成對抗網路的訓練技巧
使用tanh作為生成器最後一層的啟用，而不用sigmoid 使用正太分布對潛在空間中的點進行啟用，而不用均勻分布 稀疏的梯度會阻礙gan的訓練，而最大池化運算和relu啟用可能會導致梯度稀疏，所以使用帶步長卷積取代池化，使用leakyrelu取代relu 生成的影象中可能會出現偽影，這是由於生成器中...
生成對抗網路GAN（一） 簡介和變種
零和遊戲 zero sum game 納什均衡 minimax演算法 gan借鑑了零和遊戲的思想，引入生成網路和辨別網路，讓兩個網路互相博弈，當辨別網路不能辨別資料來自於真實分布還是生成網路的時候，此時的生成網路可以當做乙個資料分布到另乙個資料分布的轉化器。假設生成網路g gg，辨別網路d dd，n...