**：卷積特徵提取
前面的練習中，解決了一些有關低解析度影象的問題，比如：小塊影象，手寫數字小幅影象等。在這部分中，我們將把已知的方法擴充套件到實際應用中更加常見的大影象資料集。
在稀疏自編碼章節中，我們介紹了把輸入層和隱含層進行「全連線」的設計。從計算的角度來講，在其他章節中曾經用過的相對較小的影象（如在稀疏自編碼的作業中用到過的 8x8 的小塊影象，在mnist資料集中用到過的28x28 的小塊影象），從整幅影象中計算特徵是可行的。但是，如果是更大的影象（如 96x96 的影象），要通過這種全聯通網路的這種方法來學習整幅影象上的特徵，從計算角度而言，將變得非常耗時。你需要設計 10 的 4 次方（=10000）個輸入單元，假設你要學習 100 個特徵，那麼就有 10 的 6 次方個引數需要去學習。與 28x28 的小塊影象相比較， 96x96 的影象使用前向輸送或者後向傳導的計算方式，計算過程也會慢 10 的 2 次方（=100）倍。
解決這類問題的一種簡單方法是對隱含單元和輸入單元間的連線加以限制：每個隱含單元僅僅只能連線輸入單元的一部分。例如，每個隱含單元僅僅連線輸入影象的一小片相鄰區域。（對於不同於影象輸入的輸入形式，也會有一些特別的連線到單隱含層的輸入訊號「連線區域」選擇方式。如音訊作為一種訊號輸入方式，乙個隱含單元所需要連線的輸入單元的子集，可能僅僅是一段音訊輸入所對應的某個時間段上的訊號。）
網路部分連通的思想，也是受啟發於生物學裡面的視覺系統結構。視覺皮層的神經元就是區域性接受資訊的（即這些神經元只響應某些特定區域的刺激）。
自然影象有其固有特性，也就是說，影象的一部分的統計特性與其他部分是一樣的。這也意味著我們在這一部分學習的特徵也能用在另一部分上，所以對於這個影象上的所有位置，我們都能使用同樣的學習特徵。
更恰當的解釋是，當從乙個大尺寸影象中隨機選取一小塊，比如說 8x8 作為樣本，並且從這個小塊樣本中學習到了一些特徵，這時我們可以把從這個 8x8 樣本中學習到的特徵作為探測器，應用到這個影象的任意地方中去。特別是，我們可以用從 8x8 樣本中所學習到的特徵跟原本的大尺寸影象作卷積，從而對這個大尺寸影象上的任一位置獲得乙個不同特徵的啟用值。
下面給出乙個具體的例子：假設你已經從乙個 96x96 的影象中學習到了它的乙個 8x8 的樣本所具有的特徵，假設這是由有 100 個隱含單元的自編碼完成的。為了得到卷積特徵，需要對 96x96 的影象的每個 8x8 的小塊影象區域都進行卷積運算。也就是說，抽取 8x8 的小塊區域，並且從起始座標開始依次標記為（1，1），（1，2），...，一直到（89，89），然後對抽取的區域逐個執行訓練過的稀疏自編碼來得到特徵的啟用值。在這個例子裡，顯然可以得到 100 個集合，每個集合含有 89x89 個卷積特徵。
假設給定了
large
。首先通過從大尺寸影象中抽取的
small
訓練稀疏自編碼，計算 f = σ(w
(1)x
small
+ b(1))（σ 是乙個 sigmoid 型函式）得到了 k
個特徵， 其中 w
(1) 和 b
(1) 是可視層單元和隱含單元之間的權重和偏差值。對於每乙個
s，計算出對應的值 f
s = σ(w
(1)x
s + b
(1))，對這些 f
convolved
值做卷積，就可以得到
在接下來的章節裡，我們會更進一步描述如何把這些特徵彙總到一起以得到一些更利於分類的特徵。
全聯通網路 full connected networks
稀疏編碼 sparse autoencoder
前向輸送 feedforward
反向傳播 backpropagation
部分聯通網路 locally connected networks
連線區域 contiguous groups
視覺皮層 visual cortex
卷積 convolution
固有特徵 stationary
池化 pool
孔德碩 ([email protected])，郭亮（[email protected]）， 曉風（[email protected]）
特徵工程 特徵提取
特徵提取 將任意資料 如文字或影象 轉換為可用於機器學習的數字特徵 注 特徵值化是為了計算機更好的去理解資料 字典特徵提取 作用 對字典資料進行特徵值化 dictvectorizer.get feature names 返回類別名稱 from sklearn.feature extraction i...
顏色特徵提取
顏色特徵是在影象檢索中應用最為廣泛的視覺特徵，主要原因在於顏色往往和影象中所包含的物體或場景十分相關。此外，與其他的視覺特徵相比，顏色特徵對影象本身的尺寸 方向 視角的依賴性較小，從而具有較高的魯棒性。面向影象檢索的顏色特徵的表達涉及到若干問題。首先，我們需要選擇合適的顏色空間來描述顏色特徵 其次，...
顏色特徵提取
顏色特徵是在影象檢索中應用最為廣泛的視覺特徵，主要原因在於顏色往往和影象中所包含的物體或場景十分相關。此外，與其他的視覺特徵相比，顏色特徵對影象本身的尺寸 方向 視角的依賴性較小，從而具有較高的魯棒性。面向影象檢索的顏色特徵的表達涉及到若干問題。首先，我們需要選擇合適的顏色空間來描述顏色特徵 其次，...