參考鏈結
1，結果的度量標準：
pixel acc 為標記正確的畫素佔總畫素的比例。
miou是兩個集合的交集和並集之比，在語義分割中，這兩個集合是真實值和**值。在目標檢測中，就是理想邊框和**的邊框之間交集和並集的比例。
其他度量標準見
空洞卷積就是原本卷積核感受野是nn，加了空洞卷積之後就變成了（n+m）（n+m）了。下圖的標準卷積中下面是卷積之前的特徵圖，上面是卷積之後的特徵圖。
這個是空洞卷積。
dconv 包含的特性如下（參考）：
1，擴大感受野的同時不增加額外引數；
2，捕獲多尺度上下文資訊。
同樣，dconv 存在以下幾個缺點：
1，由於區域性資訊的丟失以及遠距離獲取的資訊沒有相關性導致的網格效應（參考）；
2，損失了 pooling 的不變性（不變性對抗攻擊十分重要，沒有 pooling 的網路抗攻擊效果很差，當然一般的任務不需要考慮抗攻擊）；
網格效應/棋盤效應：
從「空洞卷積的兩種理解」開始看）
看這個，有前向傳播fp和反向傳播bp，沒看懂…kernerl即size，一般是奇數）
擴張率dilation rate
fcn對影象進行畫素級的分類，從而解決了語義級別的影象分割（semantic segmentation）問題。與經典的cnn在卷積層之後使用全連線層得到固定長度的特徵向量進行分類（全聯接層＋softmax輸出）不同，fcn可以接受任意尺寸的輸入影象，採用反卷積層對最後乙個卷積層的feature map進行上取樣, 使它恢復到輸入影象相同的尺寸，從而可以對每個畫素都產生了乙個**, 同時保留了原始輸入影象中的空間資訊, 最後在上取樣的特徵圖上進行逐畫素分類。
簡單的來說，fcn與cnn的區域在把於cnn最後的全連線層換成反卷積層，輸出的是一張已經label好的。
最後逐個畫素計算softmax分類的損失, 相當於每乙個畫素對應乙個訓練樣本。
看這個）
文中提到的100011是對cnn進行改造，而cnn是輸出這張屬於哪個類，因此是11。但是fcn是1616*21，輸出的是這張的哪個位置屬於21類中的哪一類。這裡有乙個小trick，就是最後通過逐個畫素地求其在21張影象該畫素位置的最大數值描述（概率）作為該畫素的分類。
直接把原來cnn最後兩個全連線的引數丟棄不用，換為卷積層。
eltwise層的操作有三個：product（點乘）， sum（相加減） 和 max（取大值），其中sum是預設操作。
pspnet網路是在fcn網路上進行改進的，結構如下圖。提取了多種維度的特徵，但沒有用到注意力機制。
「首先輸入影象經過乙個特徵提取網路提取特徵，這部分作者採用的是新增了空洞卷積的resnet網路，空洞卷積的作用前面也提到過了，主要是增大感受野，提取到的特徵（具體而言stride=8）作為後面pyramid pooling模組的輸入。在pyramid pooling模組中構建了深度為4的特徵金字塔，不同深度的特徵是基於輸入特徵通過不同尺度的池化操作得到的，池化的尺度是可以調整的，這篇文章中給出的池化後的特徵尺寸分別是11、22、33和66。然後通過乙個1*1卷積層將特徵維度縮減為原來的1/4（四個1/4就是原來的厚度了），最後將這些金字塔特徵直接上取樣到與輸入特徵相同尺寸，然後和輸入特徵做合併，也就是concat操作得到最終輸出的特徵圖。特徵合併的過程其實就是融合目標的細節特徵（淺層特徵）和全域性特徵（深層特徵，也就是上下文資訊）的過程，這裡因為特徵提取網路最後輸出的特徵層感受野足夠大，所以有足夠的全域性資訊（雖然網路的深度不算深），個人認為如果這裡能夠融合更多的淺層特徵（比如stride=4的那一層），也許分割結果在細節方面會更好一些。」
non-local比這個好，因為pspnet的不同size的池化是固定的，是提前設定好的，但不同的pixel需要考慮的上下文資訊是不同的，因此說這種方法是非自適應的。
1）其實就crf（條件隨機場）用在影象語義分割上面，筆記參考「其他數學知識點」。筆記中用的詞性標註的例子，詞性就相當於畫素類別，這裡是考慮畫素點的類別和周圍畫素點的類別有關。
2）至於筆記例子中用到的特徵函式，應該就相當於第乙個鏈結裡面的k(m)函式。
3）還有乙個問題就是，如果每個畫素點都考慮和其他所有畫素點的關係，計算量過於龐大，無法進行歸一化。第乙個鏈結中好像給出了高效演算法。
4）所謂crf一元勢能應該就是指自己，二元勢能是指自己和別人的關係。二元就是有兩個變數的意思。
神經網路 卷積神經網路
這篇卷積神經網路是前面介紹的多層神經網路的進一步深入，它將深度學習的思想引入到了神經網路當中，通過卷積運算來由淺入深的提取影象的不同層次的特徵，而利用神經網路的訓練過程讓整個網路自動調節卷積核的引數，從而無監督的產生了最適合的分類特徵。這個概括可能有點抽象，我盡量在下面描述細緻一些，但如果要更深入了...
神經網路 卷積神經網路
1.卷積神經網路概覽 來自吳恩達課上一張，通過對應位置相乘求和，我們從左邊矩陣得到了右邊矩陣，邊緣是白色寬條，當畫素大一些時候，邊緣就會變細。觀察卷積核，左邊一列權重高，右邊一列權重低。輸入，左邊的部分明亮，右邊的部分灰暗。這個學到的邊緣是權重大的寬條 都是30 表示是由亮向暗過渡，下面這個圖左邊暗...
神經網路簡介 多層神經網路
如上圖所示，該神經網路有三層。我們標記第一層 也就是輸入層 為a 1 第一層與第二層連線權重為w 1 然後第一層輸入與第一層權重的線性和為z 1 第一層神經元個數為n 1 並依次標記剩餘網路層。可以看出，存在 z l j i 1 n l a l i w l i,j a l w l j a l 1 f...