附：2017iclr openreview
縱觀之前的大部分壓縮和加速方法都是在打全連線層的注意，比如分解、量化、剪枝等，但是目前的主流網路比如googlenet和resnet等，都盡可能的用大量小核卷積層和pooling層來取代全連線層。因此，以往的很多方法都不是很適合。
首先，作者將層分為：non-tensor layers 和 tensor layers，前者指不帶引數的層，比如pooling、lrn、batchnorm、softmax層等，後者則指convolution、innerproduct這些帶引數的層。
然後作者統計了幾個流行網路中，這些non-tensor layers 所消耗的時間，如下圖。這些層，沒有引數還占用空間和時間，作者覺得應該搞掉他們。
為了降低non-tensor layers的消耗，作者的方法就是融合，這裡一共給出了2種融合的情況。
———————— streamline merging ————————
思路非常簡單，如下圖：
左邊是原始網路的一部分，我們用右邊的等價結構來代替它，然後重新finetune網路。finetune的時候，新結構的學習率設為其他層的10倍。
注意，原結構是 「3x3卷積 stride=1」 + 「lrn」 + 「3x3pooing stride=2」，替換後的結構則簡化為 「3x3卷積 stride=2」
這種融合主要針對googlenet中的inception結構。googlenet雖然引數比較少，但由於層很多，所以速度並沒有特別快。
如下圖，作者融合掉了單獨的1x1卷積分支以及pooling分支，同時為了保證融合後的結構可以和其他部分銜接，融合後的卷積層的num_output也要做出適當調整。
這裡只給出googlenet的結果。下圖是效能損失差異：
下面是速度提高對比：能加速2-3倍，我已經很滿意了。t_t
融合2 0 軟體定義的融合
從軟體定義的網路 sdn 到軟體定義的資料中心，資料中心基礎架構的融合正在逐步走向深入。在這個過程中，無論是儲存 伺服器還是網路廠商，都面臨著相同的挑戰，那就是如何實現硬體平台與軟體的進一步整合，從而簡化資料中心的基礎架構，並且讓其變得更加智慧型。emulex總裁兼首席運營官jeff bench表示...
融合之路 厚積薄發
語言的融合 工具的融合 不同抽象層次的思想的融合 稼說 送張琥 蘇軾曷嘗觀於富人之稼乎？其田美而多，其食足而有餘。其田美而多，則可以更休，而地方得完。其食足而有餘，則種之常不後時，而斂之常及其熟。故富人之稼常美，少秕而多實，久藏而不腐。今吾十口之家，而共百畝之田，寸寸而取之，日夜以望之，鋤耰銍艾，相...
XML 資料融合
xml規範既不是一套語法 也不是一組標籤，它只是提供了一種定義標籤和資料結構之間的關係的方法。它的出現是為了滿足通過 web或其它機制進行資料交換的需要。xml的價值在於提供了一種在應用之間進行資料交換的標準手段，xml是一種儲存結構化和半結構化資訊的理想資料格式 這些被格式化的資訊可以在不同的 介...