cnn出現以來，感覺在各個地方，即便是非常小的地方都有點可以挖掘。比如relu。
relu的有效性體現在兩個方面：
而這兩個方面是相輔相成的，因為克服了梯度消失問題，所以訓練才會快。
relu的起源，在這片博文裡，對relu的起源的介紹已經很詳細了，包括如何從生物神經衍生出來，如何與稀疏性進行關聯等等。
其中有一段特別精彩的話我引用在下面：
幾十年的機器學習發展中，我們形成了這樣乙個概念：非線性啟用函式要比線性啟用函式更加先進。而本文要講的，則是relu上的改進，所謂麻雀雖小，五臟俱全，relu雖小，但也是可以改進的。尤其是在布滿sigmoid函式的bp神經網路，布滿徑向基函式的svm神經網路中，往往有這樣的幻覺，非線性函式對非線性網路貢獻巨大。
該幻覺在svm中更加嚴重。核函式的形式並非完全是svm能夠處理非線性資料的主力功臣（支援向量充當著隱層角色）。
那麼在深度網路中，對非線性的依賴程度就可以縮一縮。另外，在上一部分提到，稀疏特徵並不需要網路具有很強的處理線性不可分機制。
綜合以上兩點，在深度學習模型中，使用簡單、速度快的線性啟用函式可能更為合適。
relu的區分主要在負數端，根據負數端斜率的不同來進行區分，大致如下圖所示。
普通的relu負數端斜率是0，leaky relu則是負數端有乙個比較小的斜率，而prelu則是在後向傳播中學習到斜率。而randomized leaky relu則是使用乙個均勻分布在訓練的時候隨機生成斜率，在測試的時候使用均值斜率來計算。
其中，ndsb資料集是kaggle的比賽，而rrelu正是在這次比賽中嶄露頭角的。
通過上述結果，可以看到四點：
[1]. xu b, wang n, chen t, et al. empirical evaluation of rectified activations in convolutional network[j]. arxiv preprint arxiv:1505.00853, 2015.
可控的花樣流水燈
其實，上文中的電路，並不是實際的硬體電路，其中的數碼顯示器，是使用了 proteus 中的 元件。如果想要製作硬體電路，這個 的元件就必須更換為七段解碼器晶元，選用 cd4511 74ls48 這些解碼器都可以。如果採用軟體解碼，也可以省掉解碼晶元，這更體現了微控制器的智慧型特點。下面就是採用軟體解...
iOS 使用新增的花樣字型
專案需求中,有時候有些金額利率等這些不用系統預設字型展現,而需要著重突出展示 將字型庫新增到專案中 在info.plist中新增所需新字型,同時也在target build phases copy bundle resources中將info.plist中新增的字型新增上 確保能找到資源 找到真實可...
單鏈表的各種花樣
以下的資料結構基於單鏈表 考慮幾個問題 實現思路 舉個例子,假設鍊錶是1 2 3 4 5 6 7，m 3，n 5 首先，將頭指標指向2 m 1 的位置，用乙個指標p儲存，再用乙個指標q儲存3 m 位置 然後，開始迭代處理3到5中間 也就是3 4變成4 3，4 5變成5 4 最後，把m 1的next指...