v1
1、採用不同大小的卷積核意味著不同大小的感受野，最後拼接意味著不同尺度特徵的融合；
2、將cnn中常用的卷積（1x1，3x3，5x5）、池化操作（3x3）堆疊在一起（卷積、池化後的尺寸相同，將通道相加），一方面增加了網路的寬度，另一方面也增加了網路對尺度的適應性；
3、為了減少計算量，增加了1x1卷積。
所有的卷積核都在上一層的所有輸出上來做，而那個5x5的卷積核所需的計算量就太大了，約需要1.2億次的計算量，造成了特徵圖的厚度很大,在3x3前、5x5前、max pooling後分別加上了1x1的卷積核，以起到了降低特徵圖厚度的作用，這也就形成了inception v1的網路結構
上圖為inception v1 塊 用稀疏的inception模組來有力地表達多維度資訊
v2卷積分解，將單個的5x5卷積層用2個連續的3x3卷積層組成的小網路來代替，在保持感受野範圍的同時又減少了參數量，也加深了網路。
提出了著名的batch normalization (bn) 方法。bn會對每乙個mini-batch資料的內部進行標準化（normalization）,使輸出規範到n（0，1）的正態分佈，加快了網路的訓練速度,還可以增大學習率。
bn某種意義上起到了正則化的作用，所以可以減少或者取消dropout，簡化網路結構。v2在訓練達到v1準確率時快了14倍，最後收斂的準確率也比v1高。
inception使用大卷積核替換成多個小的卷積核
考慮了nx1卷積核，將乙個較大的二維卷積拆成兩個較小的一維卷積（7x7拆成了7x1和1x7，3x3拆成了1x3和3x1），一方面節約了大量引數，加速運算並減輕了過擬合），同時網路深度進一步增加，增加了網路的非線性。
優化了inception module的結構。
將對稱的conv計算分解為非對稱的conv計算
約（1x3 + 3x1) / (3x3) = 67%的計算開銷
更高效的下取樣方案
利用殘差連線（residual connection）來改進v3結構。
經典SQL之分類彙總
表結構如下 value date 100 2000 2 5 123 2000 5 6 3213 2003 5 8要求一句sql實現按年度統計各季度總量和年度總量 年度 1季度值 2季度值 3季度值 4季度值 年度值 2000 100 123 null null 223 2003 null 3213 ...
caffe神經網路經典結構及模型
自2012年alexnet贏得了imagenet競賽以來，深度學習 神經網路 得到了飛速發展，產生了許多的神經網路結構，本文主要總結caffe中使用的神經網路 分類的神經網路 本文的神經網路作者都使用caffe訓練過，並在kaggle的intel癌症 比賽中進行了測試與使用 top 8 alexne...
網路埠分類
1.埠簡介 隨著電腦網路技術的發展，原來物理上的介面 如鍵盤 滑鼠 網絡卡 顯示卡等輸入 輸出介面 已不能滿足網路通訊的要求，tcp ip協議作為網路通訊的標準協 議就解決了這個通訊難題。tcp ip協議整合到作業系統的核心中，這就相當於在作業系統中引入了一種新的輸入 輸出接 術，因為在tcp ip...