該筆記為自己以後方便查閱，要是有大神感覺我的筆記有哪些地方記的有誤差或者不對的話也歡迎指出
該課程第一章分為五個小節，分別是
1.為什麼我們需要機器學習
2.什麼是神經元網路
3.簡單的神經元模型
4.ann的mnist學習範例 課程的前兩節都是引入章節，就沒有記什麼筆記，這裡先跳過，直接從第三節開始。
本節介紹的神經元比現實神經元簡單，將神經元理想化（簡化）並運用一些數學演算法，使其到一定階段時可以複雜化並推廣到現實生活 。本節主要介紹了5種神經元模型，分別為線性神經元，二進位制閾值神經元 ，relu啟用神經元，sigmod神經元， 隨機二進位制神經元 。
結構簡單，可允許我們更近一步了解複雜的結構，但在一定程度上會對我們造成誤導
其輸出公式為
影象為弧線，考慮偏執和加權啟用後為一條經過原點的直線 （如圖）
其先對輸入進行加權運算，加權輸入高於閾值輸出為1，否則為0
影象為
可以用兩種方式等價二進位制閾值神經元
我們可以說總的輸入z是輸入乘上權值的啟用，其對應為總的輸入包括偏置項，所以說總的輸入時線性輸入乘上權值加上偏置項。而其等價條件就是前者公式中的閾值等價於後者公式中的偏置取反
該神經元結合了線性神經元和二值化閾值神經元
輸入為的線性加權，輸出為非線性的加權
其公式與影象為
由影象可知線性系統中獲得許多引數，在值大於零時也可以確定輸出
該神經元較為常用， 輸出為實數值，對於總輸入有光滑和約束作用，通常採用邏輯回歸函式 總輸入的計算與之前相似，是偏置加上輸入的加權和。邏輯神經元的輸出為1除1+ e^(-z)
輸入輸出曲線為(如圖)：
好處為有連續光滑的函式，導數為持續變化的。
識別手寫體字元的神經網路
有兩層神經元，一層為輸入神經元其啟用值代表了畫素的強度，一層為輸出神經元其啟用值對應著輸出類別
接下來考慮視覺化權值的更新：
其需要乙個可以看到數以千計權值的值的排列方式:
想法為，每乙個輸出單元構造乙個對映(函式)。在這個命令裡，我們要展示出每乙個小領域的輸入畫素，對應的連線權的強度，每個輸入畫素之間聯絡的優點
最開始的權值為一些小的，隨機的權值，給其一些網路資料，學習之後的權值比隨機到的權值更好。
在給該神經網路展示一張影象時需要提高指向正確分類的活躍畫素區域對應的權值。其次還要縮減那些指向網路自身趨向的分類結果的活躍畫素區域對應的權值
該舉目的為讓訓練網路去做正確的事，而不是當前有趨勢去做的事。通過訓練之後，權值發生改變，開始有規律性的模式。通過多次訓練之後，這些權值差不多為最終的值。
此時的權值就像圖形中形狀的小型模板。
該網路學會的方法是為每乙個形狀建立乙個小型模板，然後根據小型模板與油墨重疊的部分最多，來選擇最終的輸出。但是手寫體中的權值變化過於複雜，並不能被乙個簡單的形狀模板所概括，因此我們要建立乙個可允許的數字變化典型，首先提取特點，然後注意這些特定的排列
機器學習演算法的三類分為監督學習，強化學習，無監督學習，但該課中目前不會過多提到強化學習
機器學習涵蓋了三個廣義上的演算法集群，在監督學習的過程中，當給出乙個輸入向量時模型會試圖給出乙個對應的**值，因此我們可以很明顯的看出監督學習的要點是什麼 。
在強化學習的過程中，通過嘗試選擇動作或序列來使獎賞達到最大，而獎賞值只在設定好的動作下才會觸發
在無監督學習中，你需要嘗試挖掘一種對於輸入資料內部規律的表徵方法
監督學習包含兩種形式，在回歸中，目標輸出是乙個實數或者為實數等等完整向量，目標就是盡可能地接近正確的實數。在分類中，目標輸出是乙個類別標籤。
監督學習的執行需要最先選取乙個模型類別，模型類別指我們準備當做候選的一系列模型，可以把模型類別當做乙個放入輸入向量和一些引數可以得到乙個輸出y的函式，因此，乙個模型類別只是映像的一種方法，從輸入到輸出的過程中應用一些數值引數w，接著來調整這些數值引數使這個函式對映很好地擬合輸入資料(擬合是指每乙個訓練架構中的目標輸出與機器學習系統的實際輸出之間的差異最小化)
在強化學習中，輸出是乙個實際的動作序列，你必須選定足以觸發獎賞的動作，在選擇每個行為時的目標是使預期望的獎賞總和最大化，通常會使用折現因子。
強化學習是困難的因為回報通常被延遲，因此確切的知道序列動作中哪個動作是錯誤的，是很難的。其次還因為獎賞值尤其是只對應很少的被觸發場景(動作)的，往往只提供了很少的關於引數應該如何調整的資訊。因此，一般通過強化學習，無法學到數以萬計的引數，相反的，通過監督學習和無監督學習卻可以。
一部分專家學者認為聚類是無監管學習的唯一形態。無監管學習的目的很難說，乙個主要的目的是獲取輸入的內部表徵，這對於之後的監督學習和增強學習是有幫助的。無監督學習的其他目標是提供輸入的壓縮低維表示，因此，像影象這樣的高維輸入，一般在出現手寫數字的情況下分布在低維流形或是低維流形的附近或者許多這樣的流形上。通俗來說，即使你有一百萬個畫素，在能夠發生的事中，也不會有一百萬個自由度，只可能有幾百個自由度，因此我們想要做的就是放棄那一百萬個畫素轉而表示那幾百個自由度，這會根據處於流形中的位置而定，同時我們需要知道我們處在哪個流形中。
無監督學習的另乙個定義或者說是另乙個目的是依據特徵學習為輸出提供經濟的表示。
無監督學習的另乙個定義或者說是另乙個目的是找到輸入裡的聚類，可以將聚類視為乙個完全稀疏編碼，意思是每乙個聚類都有乙個特徵，我們堅持除了之外所以得特徵都是零，那唯一的特徵有一的價值。因此聚類只是稀疏特徵的乙個極端事例。
的表示。
無監督學習的另乙個定義或者說是另乙個目的是找到輸入裡的聚類，可以將聚類視為乙個完全稀疏編碼，意思是每乙個聚類都有乙個特徵，我們堅持除了之外所以得特徵都是零，那唯一的特徵有一的價值。因此聚類只是稀疏特徵的乙個極端事例。
機器學習 神經網路
神經網路中最基本的成分是 神經元 模型，在生物神經網路中，每個神經元與其他神經元相連，當他 興奮 時，就會向相連的神經元傳送化學物質，從而改變這些神經元類的電位 如果某神經元的電位超過乙個 閾值 那麼他就會被啟用。將上述描述當成乙個數學模型 m p神經元模型，神經元接收來自n個神經元傳遞過來的輸入訊...
機器學習 神經網路
序列模型屬於通用模型的一種，因為很常見，所以這裡單獨列出來進行介紹，這種模型各層之間是依次順序的線性關係，在第k層合第k 1層之間可以加上各種元素來構造神經網路這些元素可以通過乙個列表來制定，然後作為引數傳遞給序列模型來生成相應的模型。01 keras model sequential.py fro...
機器學習 神經網路
人工神經網路被用於處理大量輸入以及非線性問題。與回歸方法不同，回歸方法只能處理未知數組成的多項式構成的線性問題，即只能處理簡單的關於未知數多項式的非線性問題。而神經網路利用多層網路這一優勢，能夠處理複雜的非線性問題。theta 的維數為s times s j 1 如上圖所示，分類問題分為兩種 對於這...