構建深度學習系統的十條經驗

深度學習是機器學習的乙個子領域，它有著自己的獨特研究物件。以下是我們在構建深度學習系統時總結的

10條經驗。這些經驗雖然看似有些籠統，但他們確實是關於深度學習在結構化和非結構化資料領域裡的應用。

更多的專家會更好

通過使用更多的網路來進行推理和整合結果確實能夠提高精確度。事實上，像

dropout這類技術就是建立「隱含聚合」的方法，就是建立共享權重的疊加網路的多個子集。

尋找具備豐富標記資料的問題

目前，只有當在乙個受監督的上下文環境中，深度學習才能很好地工作。而最重要的一點就是每條規則大約需要

1000個左右的樣本。因此，當你需要解決的問題沒有足夠多的資料來進行訓練時，那嘗試尋找乙個具有更多資料的中間問題來進行訓練，然後用乙個更簡單的演算法來處理這個中間問題的訓練結果，從而解決最終的問題。

探索合成資料的方法

並不是所有的資料都已經為機器學習做好了準備和標記。許多情況下，你手頭有的資料標記得並不那麼理想。如果你可以加入來自不同資料來源的資料來實現乙個弱標記資料集合，那麼這種方法會給你帶來意想不到的效果。最著名的例子就是

word2vec，其中的單詞理解訓練就是從恰好與該單詞意思接近的其他單詞開始的。

利用預先訓練的網路

引導乙個已經經過訓練的網路在新的領域中進行訓練，這種方法的效率也往往令人非常滿意。這也是深度學習網路的乙個突出特性。

不要忘記增加資料

資料通常會擁有一些人類能夠意識到，而機器卻永遠發現不了的意義。乙個簡單的例子就是時間特徵。從人類的角度來看，一星期中的某一天或一天中某個時間點可能是重要的屬性，然而深度學習系統可能永遠不能理解其中的重要性。因為對系統來說，時間這個概念從

unix誕生以來都是以秒來進行表述的。這就需要我們為深度學習系統新增新的時間資料來對其進行訓練。

探索不同的正則化

l1和l2

正則化並不是唯一的正則化。

通過觀察每個層次來探索不同型別的正則化。

擁抱隨機性

我們有許多技術能夠在訓練之前對學習網路進行初始化。事實上，當你只訓練學習網路的最底層，而其上層多數是隨機產生的話，你能得到更出色的效果。這種技術將加快超調探索的速度。

不要只注重深度學習

很多深度學習的研究人員熱衷於只在深度學習領域內進行研究。然而事實是深度學習離不開與外部技術的結合。比如，如果離開了蒙特卡洛樹搜尋，

alphago就不會如此成功。

避免分布式

盡量避免同時訓練多台機器（除了超級引數調優）。訓練單台機器是最有效的方法。

卷積網路功能強大且不單單對資料而言

卷積網路顯然是深度學習領域中最成功的網路。更重要的是，它不僅能用於處理影象資料，還可以使用它作用於其他型別的資料（如，聲音，時間序列和文字資料）

以上就是我想分享的經驗。

當然還有很多其他的經驗這裡沒有提到。

如果你在工作中遇到了，也請分享給大家

。還可以通過這個鏈結找到更多相關詳細資訊