（這一步是網路引數初始化得過程，區別於傳統神經網路初值隨機初始化，深度學習模型通過無監督學習輸入資料進行初始化，因此這個初值更接近全域性最優，從而能夠取得更好的效果。）
逐層構建單層神經元，每層採用wake-sleep演算法進行調優，每次僅調整一層，逐層調整（這個過程看作是乙個feature learning的過程，是和傳統神經網路區別最大的部分）；
wake-sleep演算法：
wake階段：認知過程，通過下層的輸入特徵和向上的認知權重產生每一層的抽象表示，再通過當前的生成權重產生乙個重建資訊，計算輸入特徵和重建資訊殘差，使用梯度下降修改層間的下行生成權重。（如果現實跟我想象的不一樣，改變我的生成權重使得我想像的東西變得與現實一樣）
sleep階段：生成過程，通過上層概念與向下的生成權重，生成下層的狀態，再利用認知權重產生乙個抽象景象，利用初始上層概念和抽象景象的殘差，利用梯度下降修改層間向上的認知權重。（如果現實的景象不是我腦中相應的概念，改變我的認知權重使得這種景象在我看來就是這個概念）
在第一步無監督學習獲得各層引數的基礎上，在最頂的編碼層新增乙個分類器（lr、svm等），通過帶標籤資料的監督學習，利用梯度下降法微調整個網路的引數。使得目標函式達到最小（最優化）。
的訓練過程 高階 深度學習訓練過程視覺化
給機器學習演算法與python學習加星標，提公升ai技能 編輯丨極市平台 機器學習實驗室 datawhale 深度學習訓練過程一直處於黑匣子狀態，有很多同學問我具體怎麼解釋？其實很多還是無法可解釋，但是通過視覺化，具體可以知道深度學習在訓練過程到底學習了哪些特徵？到底對該目標的哪些特徵感興趣？這些我...
深度學習框架caffe訓練過程
1.資料準備 2.生成訓練資料和測試資料的label，生成 3.生成訓練資料和測試資料對應的lmdb build tools convert imageset shuffle true backend lmdb data cigarettetrain20170413 data cigarettetr...
pytorch 回歸網路和訓練過程
1 構建資料集 我們建立一些假資料來模擬真實的情況.比如乙個一元二次函式 y a x 2 b,我們給y資料加上一點雜訊來更加真實的展示它.import torch import matplotlib.pyplot as plt x torch.unsqueeze torch.lindpace 1,1...