前面介紹了幾篇使用進化演算法優化神經網路結構和初始化引數的問題，今天給大家簡單介紹一篇使用進化演算法不僅優化網路引數還優化了啟用函式的問題，對的，沒有看錯，是啟用函式。
cui p , shabash b , wiese k c . evodnn - an evolutionary deep neural network with heterogeneous activation functions[c]// 2019 ieee congress on evolutionary computation (cec). ieee, 2019.
文章的出發點是這樣的，現在的大多數網路中每個神經元的啟用函式是一樣的，但是啟用函式也會對**效果產生一定的影響，但是很少有這樣的工作。因此作者即優化了網路的引數也優化了啟用函式。
上圖表示乙個網路結構，可以看出，隱藏層的神經元中使用了不同的啟用函式。
用evolutionary algorithm優化deep learning的問題，無非兩個關鍵點：個體編碼和適應度評價。
個體編碼：文中作者對個體的編碼包含了3個部分權重（w
ww）、偏置(b
bb)和每個神經元上的啟用函式。權重和偏置就是一堆實數，啟用函式部分使用函式的名字表示，作者選取了如下幾種啟用函式。在交叉操作中，權重和偏置使用sbx，啟用函式部分使用單點交叉。變異操作中，啟用函式部分隨機選取。值得注意的是作者只是優化了引數，並沒有優化網路結構，因此個體的編碼長度是一樣的。
函式評價：不同引數的網路在資料集上進行訓練，使用損失函式的值評價不同的個體。
實驗結果：
但是這種優勢是由引數引起的還是由不同的啟用函式引起的文中並沒有分析。另外，啟用函式對網路分類效果的影響有多大文章也沒分析。
總結來看，優化啟用函式還是比較雞肋的操作。
空指標也能呼叫成員函式？
class cal int main endif q 該程式輸出的結果什麼？博主毫不猶豫的選擇了 執行時崩潰 這個選項 然而。真正的答案卻是這個指標可以正確的呼叫show 函式。what？why？這不科學 懷著對科學嚴謹的態度 我要吐了 我們現在再看一段 class cal void display...
玩著也能學python 玩著也能學Python
內容推薦 縱觀科技領域裡為世界作出偉大貢獻的人，從夢想改變世界到真正改變世界，啟蒙的種子往往來自他們童年時 貪玩 且好奇的心，繼而用 程式設計 澆灌它茁壯成長。玩著學程式設計 系列叢書就是這樣一本站在未來看現在的啟蒙讀本，以精美可愛的插畫 完整的世界觀構建了一座腦洞大開的 未來城市 在那裡，你既是遊...
相聲也能SOA
而郭德剛就做到了這一點，我相信他應該也是會經常上網去找素材的，這一點在他的相聲中就可以找到答案。這樣做確實是高明，首先，作為乙個相聲演員可以從師傅哪兒學到的東西畢竟是有限的，而每天去到生活中去找那麼多可樂的包袱又不太現實，而拿來主義卻是最取巧兒的辦法。再次，由於包袱 於大眾，也必然可以在大眾中引起共...