關於深度學習的幾個問題

2021-10-03 09:48:57 字數 2261 閱讀 5174

機器學習:

監督學習:有資料有標籤的

非監督學習:只有資料,沒有標籤。

半監督學習:用少量有標籤樣本和大量沒標籤樣本

強化學習:從經驗中總結提公升

遺傳演算法:適者生存,不適者淘汰。

神經網路

卷積神經網路nn

迴圈神經網路rnn,

lstm 長短期記憶,最流行的rnn技術之一。

自編碼autoencoding:神經網路的非監督學習。

gan生成對抗網路:

怎麼檢驗神經網路:

資料分為訓練資料和測試資料,7:3

誤差曲線

交叉驗證判斷最優引數

為什麼要特徵標準化:特徵資料標準化,歸一化

誤差=**-真實

怎麼區分好用的特徵:

判斷特徵對於結果的影響程度。

為什麼需要激勵函式:sigmon,relu,tah,

線性方程:y=wx

非線性方程:y=af(wx)

卷積神經網路用:relu

迴圈神經網路:relu,tah

什麼是過擬合:

過擬合中w往往比較大,可以通過l1/l2正規化來解決,讓學出來的曲線不過擬合。

加速神經網路訓練:

1.資料拆分,sgd

2.w+=-learning rate *dx

3.adagrad:

4.rmsprop

5.adam

處理不均衡資料:

1.想辦法獲取更多的資料

2.換評判方式。

confusion matrix

precision&recall

f1score(pr&score)

3.重組資料

複製合成,讓資料差不多

看到多的一邊的資料,讓分類資料差不多

4,使用其他機器學習方法,比如決策樹,不受資料影響

5,修改演算法

為什麼要批標準化:

只有統一規格的資料才能讓計算機學的更好,

batch normalization:

l1/l2正規化:

每個引數的平凡,l2,

每個引數的絕對值,l1,l1的解不穩定

什麼是強化學習:

開始無資料無標籤

從錯誤中學習找到規律,獲取資料地標籤,是計算機不斷地自己學。

強化學習彙總:

不理解環境model-free rl:

q-learning

policy gradients

saras

理解環境model-based rl:

q-learning

policy gradients

saras

基於概率 policy-based rl:

policy gradients

基於價值value-based rl:

q-learning

saras

基於這兩種產生地actor-critic方法,

回合更新:

基礎班policy gradients

單步更新:

q-learning

公升級版policy gradients

saras

什麼是q-learning:

也是乙個決策過程。

根據q表

差距=現實-估計

新q=老q+差距

什麼是sarsa:

與q-learning類似,但是saras的更新方式不同。

saras是在現學現,q-learning是離線學習。

saras(lamda)方法,

什麼是dqn(deep q network)

q現實q估計

新nn=老nn+α(q現實-q估計)

什麼是policy gradients(強化學習):

什麼是ddpg(強化學習):

吸收單步更新的精華

deep determinstic policy gradient=deep+determinstic policy gradient

determinstic policy gradient=determinstic+policy gradient

ddpg也是基於policy gradients和value-based 神經網路,policy gradients這邊又動作估計網路和動作現實網路,value-based這比那有狀態心是網路和狀態估計網路

什麼是a3c強化學習:基於actor critic,綜合考量。

a3c可以讓神經網路在不同的計算機核上執行,提高運算效率,一般的神經網路只在乙個核上執行。

關於深度學習的幾個問題(一)

1.關於deep learning 主要指cnn 調參的經驗?解析 深度學習整體上是越來越成熟的,不管是框架還是卷積神經網路,關於每個網路初始化引數和超引數的配置雖然有區別,但相似點似乎更多。1 啟用函式,首選relu。2 dropout 這個從alexnet延續至今,理由很簡單可有效防止過擬合。不...

關於FPGA學習的幾個問題

如何學好fpga呢,很多人很困惑,多數停留在基礎位置徘徊,我就這方面問題給大家談幾點自己的看法。1.基礎問題 fpga的基礎就是數位電路和hdl語言,想學好fpga的人,建議床頭都有一本數位電路的書,不管是那個版本的,這個是基礎,多了解也有助於形成硬體設計的思想。在語言方面,建議初學者學習veril...

關於FPGA學習的幾個問題

關於fpga學習的幾個問題 如何學好fpga呢,很多人很困惑,多數停留在基礎位置徘徊,我就這方面問題給大家談幾點自己的看法。1.基礎問題 fpga的基礎就是數位電路和hdl語言,想學好fpga的人,建議床頭都有一本數位電路的書,不管是那個版本的,這個是基礎,多了解也有助於形成硬體設計的思想。在語言方...