轉眼大四了，不過我依然是個渣，目前也找到實習工作，是幹c++後台的，發現自己真是個碼農，一看需求設計文件，基本上敲**就停不下手了。而由於畢業設計選題的緣故——「卷積神經網路「課題，我現在需要閱讀乙份英文的文件，都是我不認識的人寫的，名字叫《neural networks and deep learning》，中文意思就是神經網路和深度學習，內容是什麼？我也不清楚，是我的導師推薦我看的，現在正在看，而且準備每天看，每天翻譯一小節，作為打卡（週日到周四，周五週六休息）。現在本人的狀態是白天做碼農，晚上花點時間在文件上，再花點時間到我工作上查缺補漏
人類的視覺系統就造物主的一大傑作。
如下，考慮一段手寫的數字串：
絕大多數人，都能毫不費勁地識別這些數字（504192），但是人們卻不知道這是我們大腦給我玩的小把戲，你的大腦欺騙了你，讓你覺得這是一件簡單的事。在我們大腦的兩個半球，有乙個主要視覺大腦皮層，通常稱之為v1,這貨裡頭有1.4億個神經，在這1.4億個神經裡頭，存在有數以億級的連線。不僅如此，人類的視覺還不只和v1有關聯，完整的視覺海域v2，v3，v4，v5有關，這些東西也讓你能有條不紊地進行更多的複雜的視覺處理。我們可以將我們的大腦想象成乙個超級計算機——這是乙個在視覺世界經過長久歲月洗禮練就而成的「計算機」。識別手寫的數字並非易事，然而對於我們人類確實輕而易舉的，我們人類在沒有刻意的情況都能幹這事，所以這也讓我們忽視了我們的視覺神經到底做了多麼艱辛的工作。
當你想寫個程式實現這麼乙個識別功能時，你會發現這事一件多難的事。我們可以簡單地識別出數字9，乙個圈加上乙個鉤子，這對於計算機演算法來說，非常難實現。
神經網路為此提供了解決方案。它的方法主要是先讓你準備大量的手寫數字樣本，專業術語也叫「訓練集」(在文中是training examples)，如下
有了訓練集後，我們編寫乙個能夠從這個訓練集中學習的系統，這個系統專門識別手寫數字的規律和特點來達到識別手寫數字的目的。
在這個章節裡，我們會編寫乙個程式，利用神經網路的方法實現手寫數字功能。這個程式只有74行，沒有用到什麼特別的神經網路庫，卻能有超過96%的識別準確率。在後面的章節，我們還會研究一種超過99%的演算法，這是後話。實際上，現在那些最成功的商業神經網路軟體正服務於銀行和郵局，銀行利用它們來處理支票，郵局利用它們來識別位址。
手寫字跡的識別是一種最重要且最基礎的神經網路方案，這是初學神經網路的普遍例子。這種識別並不簡單，不過可以放心，它不需要太多複雜的手段，也不要求有超高的計算能力。它是一種行之有效的方法，所以在這本書中（這文件是電子書），我們將反覆提到數字識別的例子。在這本書後面，我們會討論我們學習的方法可以應用到哪些計算機視覺識別問題上，例如語音識別，自然語言的識別，或者其它領域。
當然，如果只是將演算法，這本書會變得很短，不過這本書將會介紹一些基礎的內容，還有專業術語等等，並解釋為什麼要這麼做。（作者認為解釋清楚這些很有必要，也很有價值）
今天打卡~~2016.11.1~小光棍節哦~祝大家早日脫單~~~
神經網路與機器學習之開篇
導 言 為了便於以後的學習，我還是穩紮穩打一步一步從基本概念和基本理論開始吧。不喜歡的求勿噴。一 從人腦神經網路到人工神經網路 人 腦 高度複雜的 非線性的和並行的計算機器 資訊處理系統 人工神經網路 由簡單處理單元構成的大規模並行分布式處理器，天然的具有儲存經驗知識和使之可用的特性 即一種自適應機...
神經網路 卷積神經網路
這篇卷積神經網路是前面介紹的多層神經網路的進一步深入，它將深度學習的思想引入到了神經網路當中，通過卷積運算來由淺入深的提取影象的不同層次的特徵，而利用神經網路的訓練過程讓整個網路自動調節卷積核的引數，從而無監督的產生了最適合的分類特徵。這個概括可能有點抽象，我盡量在下面描述細緻一些，但如果要更深入了...
神經網路 卷積神經網路
1.卷積神經網路概覽 來自吳恩達課上一張，通過對應位置相乘求和，我們從左邊矩陣得到了右邊矩陣，邊緣是白色寬條，當畫素大一些時候，邊緣就會變細。觀察卷積核，左邊一列權重高，右邊一列權重低。輸入，左邊的部分明亮，右邊的部分灰暗。這個學到的邊緣是權重大的寬條 都是30 表示是由亮向暗過渡，下面這個圖左邊暗...