神經網路黑箱的意思是我們知其然，不知其所以然，相關理論比較缺乏。別看神經網路相關**汗牛充棟，但是大部分類似於technical report，告訴你我這麼做效果不錯，具體原因不知道，只能「guess」，所以很容易被打臉。
這一篇文章講得挺好的，他用光學類別深度學習，非常形象。
從結構來看，無論是深度學習還是鏡頭，都是一層一層疊起來的，如下圖所示。
從設計流程來看，當要設計乙個鏡頭的時候，往往以乙個已知的鏡頭組合作為基礎，這個已知的鏡頭組合一般都以發明這個鏡頭組合的人命名，類似於深度學習的裡面的lenet、alexnet。然後你跑個**，看看這個基礎鏡頭組合的表現和你需要達到的要求存在哪些差距，在合適的地方插入合適的元件來磨平差距。接著，你用乙個數值優化器來調上述鏡頭組合的引數，以發揮上述鏡頭組合最大的功效。這個類似於深度學習裡面的優化和調超參過程。
從系統組成部件來看，光學元件有的起到反射作用，有的起到衍射作用，有的起到折射作用，有的起到散射作用，有的起到相位校正作用等等。深度學習元件(conv、pool、relu等等)有的起到學習空間相關作用，有的起到防止過擬合作用，有的起到增加非線性作用等等。
從發展歷史來看，伽利略時代雖然沒有光學理論，類似於現在的深度學習，但是同樣造出來了人類歷史上第一架天文望遠鏡，推動了天文學的發展。現在深度學習也理論不足，但是極大地推動了人工智慧的發展。
從結果看，在幾百年裡，經過科學家的不懈努力，光學終於形成了一整套比較完備的體系，使得現在的光學工程師在設計鏡頭的時候有跡可循，而不是像幾百年前的伽利略一樣靠經驗設計。這一套完備的體系將光學分層了，如下圖所示，這樣的分層使得光學分工明確，每個人研究各自層的東西，一起推動光學發展。上面的層是下面層的抽象，越往上能解釋越複雜的現象，見下圖所示，而相比而言深度學習裡面的很多現象還得不到較好的解釋。
光學也經歷過黑箱時代，深度學習現在就是黑箱時代，理論的前進一般會晚於實踐，但是假以時日，理論肯定會完備起來，形成類似於當前光學那樣的層層抽象的學術體系，只不過這個過程需要所有從業者一起的努力，和一定時間的積澱，也許幾十年，也許上百年。
神經網路 什麼叫神經網路
我們用簡潔易懂的語言了解下什麼叫人工智慧神經網路，假如有如下乙個神經網路。訓練完成後，隨便輸入乙個，這個網路需要識別是貓或狗或同時不是貓和狗。如下面輸入一張沙皮狗的，神經網路識別是一條狗。如果輸入下面輸入一張狗的，神經網路識別也是一條狗。如果輸入下面輸入一張貓的，神經網路識別是乙隻貓。如果輸入下面輸...
如何畫神經網路 為什麼線性回歸也是神經網路
今天我們來講講線性回歸和神經網路的關係。首先說結論，線性回歸其實也是個神經網路，其實不光是線性回歸，多項式回歸，邏輯回歸等等也都可以看成是乙個神經網路。考慮到大家可能對線性回歸或者神經網路的概念有那麼點疑惑，這裡簡單的講講什麼是線性回歸和神經網路。如圖所示，我們可以很輕易的看出來，y軸上的變數正隨著...
人工神經網路基礎 為什麼神經網路選擇了「深度」？
現在提到 神經網路 和 深度神經網路 會覺得兩者沒有什麼區別，神經網路還能不是 深度 deep 的嗎？我們常用的 logistic regression 就可以認為是乙個不含隱含層的輸出層啟用函式用 sigmoid logistic 的神經網路，顯然 logistic regression 就不是 ...