一、剪枝
拆除網路當中某些引數的方法如下：
1.剪掉權重weight約等於0的weight，讓兩個神經元之間失去連線
2.檢視某個神經元經過activation之後的輸出是否接近於零，如果接近於零，則剪掉這個神經元
3.在修剪完整個網路之後，識別的準確度肯定會下降，我們這時保留之前訓練好的權重，再利用訓練集訓練一次，更新當前神經網路的引數
4.技巧：不要在一次修建當中修建過多的引數，不然的話神經網路很難恢復到之前的準確度
二、知識蒸餾
知識蒸餾的核心就是用大的神經網路帶著小的神經網路去訓練。也就是我們預訓練乙個teacher net,這個模型是比較符合我們預期的。再將神經網路修剪之後得到乙個student net,或者自定義乙個student net，用teacher net帶著student net去訓練。也就是我們給student net和teacher net同樣的輸入，而loss則是衡量teacher net和student net之間的不同。
深度學習模型壓縮
1 引入1 1的卷積降維 inception v1 例如googlenet，假設輸入是28 28 192的feature map，1 1的channel是64，3 3的channel是128，5 5的channel是32 在左圖被3個 不同尺寸的卷積核卷積之後，參數量是1 1 192 64 3 3 ...
深度學習模型壓縮
前言 目前在深度學習領域分類兩個派別，一派為學院派，研究強大 複雜的模型網路和實驗方法，為了追求更高的效能 另一派為工程派，旨在將演算法更穩定 高效的落地在硬體平台上，效率是其追求的目標。複雜的模型固然具有更好的效能，但是高額的儲存空間 計算資源消耗是使其難以有效的應用在各硬體平台上的重要原因。最近...
深度學習 模型壓縮 PaddleSlim
paddleslim是乙個模型壓縮工具庫，包含模型剪裁 定點量化 知識蒸餾 超參搜尋和模型結構搜尋等一系列模型壓縮策略。對於業務使用者，paddleslim提供完整的模型壓縮解決方案，可用於影象分類 檢測 分割等各種型別的視覺場景。同時也在持續探索nlp領域模型的壓縮方案。另外，paddleslim...