深度學習與神經網路最值得關注的6大趨勢

摘要：深度學習與神經網路中最值得關注的6大趨勢，您都清楚麼？

神經網路的基本思想是模擬計算機「大腦」中多個相互連線的細胞，這樣它就能從環境中學習，識別不同的模式，進而做出與人類相似的決定。

典型的神經網路是由數千互連的人工神經元組成，神經元是構成神經網路的基本單位。這些神經元按順序堆疊在一起，以稱為層的形式形成數百萬個連線。單位劃分如下:

輸入單元：用於接收外部環境的資訊；

隱藏單元：隱藏層將所需的計算及輸出結果傳遞給輸出層；

輸出單元：輸出訊號表明網路是如何響應最近獲得的資訊。

多數神經網路都是「全連線的」，也就是說，每乙個隱藏單元和輸出單元都與另一邊的所有單元相連線。每個單元之間的連線稱為「權重」，權重可正可負，這取決於它對另乙個單元的影響程度。權重越大，對相關單元的影響也就越大。

前饋神經網路是一種最簡單的神經網路，各神經元分層排列。每個神經元只與前一層的神經元相連。接收前一層的輸出，並輸出給下一層，各層間沒有反饋。是目前應用最廣泛、發展最迅速的人工神經網路之一。

下面將就神經網路與深度學習發展的幾大重要趨勢進行討論：

膠囊網路（capsule networks）

膠囊網路是一種新興的深層神經網路，其處理資訊的方式類似於人腦。

膠囊網路與卷積神經網路相反，雖然卷積神經網路是迄今為止應用最廣泛的神經網路之一，但其未能考慮簡單物件和複雜物件之間存在的關鍵空間層次結構。這導致了誤分類並帶來了更高的錯誤率。

在處理簡單的識別任務時，膠囊網路擁有更高的精度，更少的錯誤數量，並且不需要大量的訓練模型資料。

深度強化學習（deep reinforcement learning, drl）

深度強化學習是神經網路的一種形式，它的學習方式是通過觀察、行動和獎勵，與周圍環境進行互動。深度強化學習已經被成功地用於遊戲策略的制定，如atari和go。alphago擊敗了人類冠軍棋手，是深度強化學習最為著名的應用。

資料增強（lean and augmented data learning）

到目前為止，機器學習與深度學習遇到的最大挑戰是：需要大量使用帶標籤的資料來訓練系統。目前有兩種應用廣泛的技巧可以幫助解決這個問題：

（1）合成新的資料

（2）遷移學習

「遷移學習」，即把從乙個任務或領域學到的經驗遷移到另乙個任務或領域，「一次學習」指遷移學習應用到極端情況下，在只有乙個相關例子，甚至沒有例子的情況下學習。由此它們成為了「精簡資料」的學習技巧。與之相仿，當使用模擬或內插合成新的資料時，它有助於獲取更多的訓練資料，因而能夠增強現有資料以改進學習。

通過運用上述技巧，我們能夠解決更多的問題，尤其是在歷史資料較少的情況下。

監督模型（supervised model）

監督模型時一種學習形式，它根據預先標記的訓練資料學到或建立乙個模式，並依此模式推斷新的例項。監督模型使用一種監督學習的演算法，該演算法包括一組輸入和標記正確的輸出。

將標記的輸入與標記的輸出進行比較。給定兩者之間的變化，計算乙個誤差值，然後使用乙個演算法來學習輸入和輸出之間的對映關係。

網路記憶模型（networks with memory model）

人類和機器的乙個典型區別在於工作和嚴謹思考的能力。我們可以對計算機進行程式設計，使其以極高的準確率完成特定的任務。但是如果我們想要它在不同的環境中工作，還有需要解決很多問題。

要想使機器適應現實世界的環境，神經網路必須能夠學習連續的任務且不產生「災難性忘卻（catastrophic forgetting）」，這便需要許多方法的幫助，如：

長期記憶網路（long-term memory networks）：它能夠處理和**時間序列

彈性權重鞏固演算法（elastic weight consolidation, ewc）：該方法能夠選擇性地減慢對這些任務而言比較重要的權重的學習速率

漸進式神經網路（progressive neural networks）：不會產生「災難性忘卻」，它能夠從已經學會的網路中提取有用的特徵，用於新的任務

混合學習模式（hybrid learning models）

不同型別的深度神經網路，例如生成式對抗網路（gans）以及深度強化學習（drl），在效能提公升和廣泛應用方面展現了了巨大的潛力。不過，深度學習模型不能像貝葉斯概率那樣為不確定性的資料場景建模。

混合學習模式結合了這兩種方法的優勢，典型的混合學習模式包括貝葉斯生成對抗網路（bayesian gans）以及貝葉斯條件生成對抗網路（bayesian conditional gans）。

混合學習模式將商業問題的範圍擴大，使其能夠解決具有不確定性的深度學習問題，從而提高模型的效能，增強模型的可解釋性，實現更加廣泛的運用。

閱讀原文

深度學習與神經網路 最值得關注的6大趨勢