bp神經網路的基礎知識參見機器學習——神經網路（四）：bp神經網路
分為三個步驟：
modeling，inference，learning （構建模型、**模型，學習模型）
前向神經網路——standard nn卷積神經網路——convolutional nn：lenet-5、vgg、alexnet
迴圈神經網路——recurrent neural netwroks
深度信念網路——deep belief network
生成對抗網路——generative adversarial network
深度強化學習網路——deep reinforcement leaning
pytorch
tensorflow
對比：
pytorch:動態計算圖，**通俗易懂，接近於原生的python**，facebook支援，社群活躍詳細對比：pytorch 和 tensorflow 區別tensorflow：靜態計算圖
輸入資料 -> model = architecture+parameters ->輸出
pytorch在影象上的作用比較好——影象分類（resnet）自然語言處理——情感分析、翻譯模型（opennmt-py）、chatbot（回答機械人）
深度強化學習——deep reinforcement learning
預訓練語言模型——gpt2
1.基礎知識2. 學習pytorch官方tutorrial
3. 學習github上以及各種部落格上的教程
4. 閱讀documentation，使用論壇
5. 跑一些開源的pytorch專案
6. 閱讀深度學習模型的*****
7. 自己創新模型
動手學深度學習（一）
其中 w1 和 w2 是權重 weight b 是偏差 bias 且均為標量。訓練資料 損失函式 通常，我們用訓練資料集中所有樣本誤差的平均來衡量模型 的質量 w 1,w 2,b 為使訓練樣本平均損失最小的解 優化演算法 b 代表每個小批量中的樣本個數 批量大小，batch size 稱作學習率 l...
動手學深度學習
線性回歸的基本要素 模型 為了簡單起見，這裡我們假設 只取決於房屋狀況的兩個因素，即面積 平方公尺 和房齡 年 接下來我們希望探索 與這兩個因素的具體關係。線性回歸假設輸出與各個輸入之間是線性關係 price warea area wage age b price warea area wage a...
動手學深度學習 語言模型
語言模型 一段自然語言文字可以看作是乙個離散時間序列，給定乙個長度為t tt的詞的序列 1,2,t,omega omega 1 2 t 語言模型的目標就是評估該序列是否合理，即計算該序列的概率。假設序列的每個詞是依次生成的，則 p 1,2 t t 1tp t 1,t 1 p 1 p 2 1 p t ...