day 1
神經網路：指生物的大腦神經元，細胞，觸點等組成的網路，用於產生生物的意識，幫助生物進行思考和行動。
人工神經網路：指旨在模仿人腦結構及其功能的資訊處理系統。
人腦與計算機資訊處理機制的比較：
1：系統結構；
2：訊號形式；
3：資訊儲存；
4：資訊處理機制；
1：系統結構：
人腦：由數百億神經元相互連線組合而成。每個神經元只能完成一種基本的功能：興奮與抑制；
計算機：由各種二值邏輯閘電路構成的按序列方式工作的邏輯機器。其資訊處理是建立在馮諾依曼體系的基礎上，基於程式訪問進行工作的；
2：訊號形式：
人腦：模擬量與離散脈衝兩種形式。模擬訊號：具有模糊性特點，有利於資訊的整合和非邏輯加工；
計算機：採用離散的二進位制數和二值邏輯形式；
3：資訊儲存：
人腦：分布式、聯想式；
計算機：儲存在特定位置；
4：資訊處理機制：
人腦：一種高度並行的非線性資訊處理系統；
計算機：有限集中的序列資訊處理機制，即所有資訊處理都集中在乙個或幾個cpu中進行。
day 2
流程：由感知器開始，進而介紹訓練線性單元的梯度下降演算法，最終推廣到用於神經網路訓練的反向傳播演算法。
感知器：
定義：一種只具有兩種輸出的簡單的人工神經元；
圖例：
可知：對應於乙個n維空間中的超平面wx=0,它能夠分類兩類樣本。
線性單元：
產生原因：只有1和-1兩種輸出限制了感知器的處理和分類能力，一種簡單的推廣是：線性單元。
定義：不帶閾值的感知器。
圖例：目的：調整權值w1,w2,…,wn，使得線性單元對於訓練樣本的實際輸出與訓練樣本的目標輸出盡可能地接近。
誤差準則：
定義：
為什麼要引入梯度下降法？
由圖可知，設想從解空間中的任意初始點n0開始出發，目的是誤差曲面的最低點，由於能見度有限的原因某一時刻只能看到距離自己很近的周邊區域，因此每次只試探性地跨出每一步，為了以最快速度到達谷底，乙個合理的選擇是找到目前最陡峭的下降方向，朝該方向跨出這一步，在新的位置上將獲得新的視野，也將找到新的最陡峭的方向，不斷重複這一過程直到到達最低目標點。
《python神經網路》讀書筆記（一）
大約三天讀完，這本書淺顯易懂，非常適合入門，只有權重調整值的推導過程看得不是很透徹。神經網路也是機器學習的一種實現，可以應用在有監督學習和無監督學習，因為中間可以有較多層，所以屬於深度學習方法。神經網路的名字很唬人，其實概念挺樸素的，是由含乙個輸入層乙個輸出層和若干隱藏層構成的有向無環圖 這名字也唬...
讀書筆記 神經網路與深度學習（五）迴圈神經網路
建立乙個額外的延時單元，儲存歷史資訊。延時神經網路在前饋網路中非輸出層都增加了乙個延時器，記錄最近幾次神經元的輸出。這樣就具有了短期記憶能力。自回歸模型是統計學上常用的一類時間序列模型，用乙個變數的歷史資訊來 自己。有外部輸入的非線性自回歸模型是乙個擴充套件，每個時刻都有乙個外部輸入x，產生乙個輸出...
讀書筆記《神經網路與深度學習》
機器學習是人工只能的乙個分支，機器學習本身是乙個非常大的概念。輸入資料報括 歷史資料 正確期望值 錯誤期望值 輸入資料後有模型自行進行聚類 規則區分 乙個連續決策的過程，其數學本質是馬爾科夫決策過程。馬爾科夫過程 對於乙個系統，有乙個狀態轉移到另乙個狀態的過程中，存在著轉移概率，且轉移概率可以通過前...