摘自《機器之心》
該結構使用了200個v100gpu，可能是伏特級的計算卡。
神經結構自動設計通常分為兩類：強化學習和進化演算法。強化學習中結構的元件選擇被認為是乙個行為，一系列的行為定義了乙個神經網路結構，開發集準確度用作獎賞。進化演算法中，通過變異和結構元件的重新聯合進行搜尋，有更好效能的結構會被挑選出來。這些方法工作於離散空間。
神經架構優化（neural architecture optimization,nao ）的核心是乙個編碼器模型，負責將神經網路架構對映到乙個連續表示，在連續表示上建立乙個回歸模型來逼近架構的最終效能，這裡值得注意的是，回歸模型類似於之前研究中的效能**器 [4, 27, 11]。新方法與之的區別在於如何利用效能**器：之前的研究 [27] 使用效能**器作為啟發來選擇已生成的架構，以加速搜尋過程，而新方法直接優化模組，並通過梯度下降獲得更好網路的連續表示（圖 1 中間底部黑色箭頭）。然後利用優化的表示來產生**效能更好的新神經網路架構。為了實現這一點，nao 的另乙個關鍵模組被設計成解碼器，從連續表示中恢復離散架構（圖 1 右側紅框箭頭）。解碼器是配備了注意力機制的 lstm 模型，可以實現精準恢復。這三個元件（即編碼器、效能**器和解碼器）在多工設定中接受聯合訓練，這有利於連續表示：恢復架構的解碼器目標能進一步改善架構嵌入的質量，更有效地**效能。
演算法：輸入：初始候選結構集x，初始結構集xeval = x。結構效能s為空集。種子結構數目k，步長yita，優化次數l。
第一步：訓練包含於x的每個結構x，估計以獲取開發集效能seval=，將seval併入s以擴大s；
第二步：使用x和s，通過最小化損失，訓練編碼器e，效能**器f和解碼器；
第三步：從x中挑選效能最好的k個結構，構成種子結構集xseed；
第四步：對於xseed中的每個結構，基於編碼器e和效能**器f獲得乙個更好的表示ex`。定義表示增強集e`=；
第五步：使用解碼器從ex`解碼x`，將這些新結構組成乙個新結構集，設定為xeval，使用該結構集擴張x。
重複以上過程，直到迭代完成。
挑選最好效能的結構。
神經網路設計 摘要
判定邊界 判定邊界由那些使淨輸入為0的輸入向量確定 n wp b 0,乙個雙輸入感知器網路,如果取權值為 1,1 則有p1 p2 b 0,其中p p1 p2 這是p1,p2平面上的一條直線.該直線和權值向量w 1,1 垂直.感知器學習規則 p42 1.如果t 1,a 0 則w new w old p...
神經網路設計原則
神經網路訓練完，會出現網路訓練不穩定 網路不收斂 梯度消失或 網路過擬合 不准或準確率低，可考慮以下方面 資料增強 隨機取樣 資料翻轉，隨機改變資料亮度 飽和度 對比度等 神經網路結構一般由輸入層 隱層 輸出層構成。輸入層的神經元個數是特徵維度，隱層是提取輸入特徵中隱藏的規律，輸出層的神經元個數是分...
神經網路設計過程
1.背景 輸出 y 中，1.01 代表 0 類鳶尾得分，2.01 代表 1 類鳶尾得分，0.66 代表 2 類鳶尾得分。通過輸出 y 可以看出數值最大 可能性最高 的是 1 類鳶尾，而不是標籤 0 類鳶尾。這是由於 最初的引數 w 和b 是隨機產生的，現在輸出的結 果是蒙的 為了修正這一結果，我們用...