generative adversarial network (gan) 生成對抗網路
梯度消失
梯度擴散（gradient diffusion）
deep learning(i.e.unsupervised feature learning)
目的是讓機器自動學習良好的特徵，而免去人工選取過程
深度學習是機器學習研究中的乙個新的領域，其動機在於建立、模擬人腦進行分析學習的神經網路，它模仿人腦的機制來解釋資料，例如影象，聲音和文字。深度學習是無監督學習的一種。
傳統神經網路中，採用的是back propagation（bp演算法）的方式進行，簡單來講就是採用迭代的演算法來訓練整個網路，隨機設定初值，計算當前網路的輸出，然後根據當前輸出和label之間的差去改變前面各層的引數，直到收斂（整體是乙個梯度下降法）。而deep learning整體上是乙個layer-wise的訓練機制。這樣做的原因是因為，如果採用back propagation的機制，對於乙個deep network（7層以上），殘差傳播到最前面的層已經變得太小，出現所謂的gradient diffusion（梯度擴散）。
全連線層（fully connected layers，fc）在整個卷積神經網路中起到「分類器」的作用。如果說卷積層、池化層和啟用函式層等操作是將原始資料對映到隱層特徵空間的話，全連線層則起到將學到的「分布式特徵表示」對映到樣本標記空間的作用。
深度學習入門
元胞自動機實質上是定義在乙個具有離散 有限狀態的元胞組成的元胞空間上，並按照一定的區域性規則，在離散的時間維度上演化的動力學系統。元胞又可稱為單元 細胞，是元胞自動機的最基本的組成部分。乙個標準的細胞自動機由元胞 元胞狀態 鄰域和狀態更新規則構成。用數學表示為 a l,d,s,n,f 其中l為元胞空...
深度學習入門
1 人工智慧 1956年，幾位科學家相聚在達特茅斯會議提出了人工智慧的概念。當時計算機剛剛出現不久，他們希望通過用計算機來構造複雜的，擁有與人類智慧型具有同樣本質的機器。然後幾十年，人工智慧一直在兩極分化，有些人認為這個是改變人們未來生活的乙個大的方向 但是有的人認為人工智慧是一種噱頭，或者是一種泡...
Python深度學習 01深度學習入門
深度學習是機器學習與神經網路 人工智慧 圖形化建模 優化 模型識別和訊號處理等技術融合後產生的乙個領域。簡單來說，深度神經網路是一種用多層抽象來表示概念或者特徵的方式。深度學習使用多層機器學習模型對資料進行有監督學習或者無監督學習。在學習深度學習核心思想時，採取如圖所示的的通用方法 注意 單隱藏層神...