首先我們看第一張圖，可以看出w
(1)中有6個引數，w
(2)中有4個引數，w
(3)中有6個引數，所以整個神經網路中的引數有16個（這裡我們不考慮偏置節點，下同）。雖然層數保持不變，但是第二個神經網路的引數數量卻是第乙個神經網路的接近兩倍之多，從而帶來了更好的表示（represention）能力。表示能力是多層神經網路的乙個重要性質，下面會做介紹。在引數一致的情況下，我們也可以獲得乙個
「更深」
的網路。
與兩層層神經網路不同。多層神經網路中的層數增加了很多。
增加更多的層次有什麼好處？更深入的表示特徵，以及更強的函式模擬能力。
更深入的表示特徵可以這樣理解，隨著網路的層數增加，每一層對於前一層次的抽象表示更深入。在神經網路中，每一層神經元學習到的是前一層神經元值的更抽象的表示。例如第乙個隱藏層學習到的是「邊緣」的特徵，第二個隱藏層學習到的是由「邊緣」組成的「形狀」的特徵，第三個隱藏層學習到的是由「形狀」組成的「圖案」的特徵，最後的隱藏層學習到的是由「圖案」組成的「目標」的特徵。通過抽取更抽象的特徵來對事物進行區分，從而獲得更好的區分與分類能力。通過研究發現，在引數數量一樣的情況下，更深的網路往往具有比淺層的網路更好的識別效率.在單層神經網路時，我們使用的啟用函式是sgn函式。到了兩層神經網路時，我們使用的最多的是sigmoid函式。而到了多層神經網路時，通過一系列的研究發現，relu函式在訓練多層神經網路時，更容易收斂，並且**效能更好。因此，目前在深度學習中，最流行的非線性函式是relu函式。relu函式不是傳統的非線性函式，而是分段線性函式。其表示式非常簡單，就是y=max(x,0)。簡而言之，在x大於0，輸出就是輸入，而在x小於0時，輸出就保持為0。這種函式的設計啟發來自於生物神經元對於激勵的線性響應，以及當低於某個閾值後就不再響應的模擬。在深度學習中，泛化技術變的比以往更加的重要。這主要是因為神經網路的層數增加了，引數也增加了，表示能力大幅度增強，很容易出現
過擬合現象
。因此正則化技術就顯得十分重要。目前，dropout技術，以及資料擴容（data-augmentation）技術是目前使用的最多的正則化技術。
執行緒的數量
在計算密集型的程式中，最佳執行緒數就是cpu的核數 個數。這是因為在smp 對稱多處理器 環境下，每個cpu都有乙個可執行佇列 run queue 如果乙個程序處於task running狀態 可執行狀態 則它會被加入到其中乙個run queue 且同一時刻僅會被加入到乙個run queue 以便讓...
數量可變的
所有的變數使用到這一點，在本教程中有乙個共同點 該變數必須先宣告在編譯的時候。這導致了兩個問題 第一，很難有條件地宣告乙個變數，把它在乙個if語句塊之外 在這種情況下，它會超出範圍時，塊的結束 第二，所有陣列的大小必須決定在執行程式之前。例如，以下是不合法的 1 2 3 4 5 cout how m...
數量的變數
所有的變數使用到這一點，在本教程中有乙個共同點 該變數必須先宣告在編譯的時候。這導致了兩個問題 第一，很難有條件地宣告乙個變數，把它在乙個if語句塊之外 在這種情況下，它會超出範圍時，塊的結束 第二，所有陣列的大小必須決定在執行程式之前。例如，以下是不合法的 123 45cout how many ...