機器學習
深度學習
通常，在我們接觸深度學習的過程中，經常可以看到機器學習，深度學習，監督學習，無監督學習，神經網路，隱藏層，函式等一系列概念。這些概念之間的相互關係是什麼，分別是什麼意思，有什麼作用，搞清楚這個是非常重要的。在此對其進行一次梳理。
所有的概念都可以認為出自–人工智慧（artificial intelligence）「人工智慧」是「一門技術科學」，它研究與開發的物件是「理論、技術及應用系統」，研究的目的是為了「模擬、延伸和擴充套件人的智慧型」。早在50年代就已經提出，我們現在所做的「文字識別」，「影象識別」等其實都是基於「模擬人的文字閱讀能力」和「模擬人的影象識別能力」，總而言之，其終極目的就是實現和人一樣的「智慧型」。
人工智慧，機器學習和深度學習是最基礎的概念，兩者也沒有絕對的定義。以下是參考定義：
人工智慧：人工智慧是研究、開發用於模擬、延伸和擴充套件人的智慧型的理論、方法、技術及應用系統的一門技術科學。
機器學習：顧名思義，是研究讓機器具有學習能力的乙個領域。這裡，機器指的是計算機，是演算法執行的物理載體，你也可以把各種演算法本身當做乙個有輸入和輸出的機器。
深度學習：深度學習是機器學習的一部分，深度學習是用於建立、模擬人腦進行分析學習的神經網路，並模仿人腦的機制來解釋資料的一種機器學習技術，它和神經網路這乙個概念是分不開的，也有認為深度學習即是使用深層神經網路的機器學習
從以上的定義來看，人工智慧的範圍最廣，它包括機器學習，而機器學習又包括深度學習。
機器學習按照定義，指的是設計一種演算法，給定乙個資料集，讓演算法能夠學習資料的規律，接下來就介紹一些演算法和分類。
(以上的圖都**於網路)
可以看到這些演算法的作用就是按照一定的規則，將資料劃分為不同的類別，在這個過程中，演算法學習到的就是資料的規律，也可以稱之為特徵，在實際的應用中，資料的維度可能會很大，也就是特徵很多，不像上圖那麼簡單，這就需要更加複雜的演算法。
除了演算法，還有就是資料本身，針對不同的資料要有不同的建模方式，依據學習方式和輸入資料，機器學習主要分為以下四種學習方式：
監督學習：
監督學習是使用已知正確答案的示例來訓練網路。已知資料和其一一對應的標籤，訓練乙個**模型，將輸入資料對映到標籤的過程。常見應用場景如分類問題和回歸問題。
非監督式學習：
在非監督式學習中，資料並不被特別標識，適用於你具有資料集但無標籤的情況。學習模型是為了推斷出資料的一些內在結構。常見的應用場景包括關聯規則的學習以及聚類等。
半監督式學習：
在此學習方式下，輸入資料部分被標記，部分沒有被標記，這種學習模型可以用來進行**。應用場景包括分類和回歸，演算法包括一些對常用監督式學習演算法的延伸，通過對已標記資料建模，在此基礎上，對未標記資料進行**。
弱監督學習：
弱監督通常分為三種型別：不完全監督、不確切監督、不準確監督，弱監督學習可以看做是有多個標記的資料集合， 資料集的標籤是不可靠的，這裡的不可靠可以是標記不正確，多種標記，標記不充分，區域性標記等。
監督學習和無監督學習等都是根據具體的需求來進行分析。
下面來講一下基礎的步驟：
首先是資料集的建立和分類，對於具體的資料集進行標註劃分，分為訓練集和驗證集，目標就是找乙個函式，這個函式可以將輸入的資料進行分類（或者其他操作）。
資料增強，原始資料並不能保證在處理過程中保持目標資訊不變，而資料的好壞會直接影響訓練結果，所以這一步是十分重要的。
特徵設計，特徵的選擇和提取的好壞會影響能否正確全面的表達資料報含的資訊，所以特徵的設計包括之後的組合需要很好特徵選擇方法，深度學習中的卷積神經網路就是乙個很好的方法。
設計**模型和損失函式，通過特徵設計之後，將原始的資料對映到特徵空間之後，也就意味著我們得到了比較合理的輸入。下一步就是構建合適的**模型得到對應輸入的輸出。而如何保證模型的輸出和輸入標籤的一致性，就需要構建模型**和標籤之間的損失函式，
在進行完以上操作之後選擇合適的模型和超引數進行初始化，通過合適的優化方法不斷縮小輸出與標籤之間的差距，當迭代過程到了截止條件，就可以得到訓練好的模型。
訓練完訓練集後，需要進行模型測試。利用驗證集來驗證模型是否可行。在此過程中，通常會通過調整和模型相關的各種事物（超引數）來重複步驟2和3，諸如裡面有多少個節點，有多少層，使用怎樣的啟用函式和損失函式，如何在反向傳播階段積極有效地訓練權值等等。之後即可測試應用。
深度學習的概念離不開神經網路，規模龐大，層數夠深的神經網路可以幫助機器更好的模擬人腦的學習分析，神經網路就是按照一定規則將多個神經元連線起來的網路。不同的神經網路，具有不同的連線規則，以下是乙個基礎的神經網路結構。
我們可以清楚的看到，它包括輸入層，輸出層，隱藏層，三種不同型別的層。且每層之間的神經元之間沒有連線，而每一層的每個神經元與上一層的所有神經元相連，這就是典型的全連線層（每個連線之間都有權重）。首先輸入層接受原始資訊的輸入，在隱藏層中進行處理，最後輸出層輸出結果（可以是分類或者重構等）。
複雜的神經網路就是由以上的基礎神經結構構成。
深度學習 應用數學與機器學習基礎 1
如果你很熟悉線性代數，那麼你可以跳過本節 1 標量 向量 矩陣和張量 2 矩陣和向量相乘 矩陣乘法是矩陣運算中最重要的操作之一。兩個矩陣相乘是第三個矩陣。c aba的列數必須和b的行數相等。兩個矩陣中對應元素相乘被稱為元素對應乘積或者badamard乘積。記為 a b 兩個相同維數的向量x和y的點積...
《動手學深度學習》 深度學習基礎複習
交叉熵只關心對正確類別的 概率，因為只要其值足夠大，就可以確保分類結果正確，而平方損失則過於嚴格，例如y i 1 y i 2 0比y i 1 0,y i 2 0.4的損失要小很多，雖然兩者都有同樣正確的分類 結果。正則化通過為模型損失函式新增懲罰項使學出的模型引數值較小，是應對過擬合的常用手段。權重...
動手學深度學習之深度學習基礎
資料集的形式主要有三種 訓練集測試集 測試資料集不可以用來調參 驗證集 k折交叉驗證 把原始資料分成k組，每次訓練時，使用k 1個子資料集訓練，使用乙個作為驗證，最後通過k次求取訓練誤差和驗證誤差的平均。過擬合 overfitting 模型的訓練誤差遠小於它在測試資料集上的誤差 欠擬合 underf...