task05：卷積神經網路基礎；lenet；卷積神經網路高階
學習筆記見：
卷積神經網路基礎
1、假如你用全連線層處理一張256×256
的彩色（rgb）影象，輸出包含1000個神經元，在使用偏置的情況下，引數數量是：
a、65536001
b、65537000
c、196608001
d、196609000
答：選擇d
影象展平後長度為3×256×256
，權重引數和偏置引數的數量是3×256×256×1000+1000=196609000
。2、假如你用全連線層處理一張256×256
的彩色（rgb）影象，卷積核的高寬是3×3
，輸出包含10個通道，在使用偏置的情況下，這個卷積層共有多少個引數：
a、90
b、100
c、280
d、300
答：選擇b
輸入通道數是3，輸出通道數是10，所以引數數量是10×3×3×3+10=280
。3、conv2d = nn.conv2d(in_channels=3, out_channels=4, kernel_size=3, padding=2)，輸入一張形狀為3×100×100
的影象，輸出的形狀為：
a、3×102×102
b、3×100×100
c、4×102×102
d、4×100×100
答：選擇c
輸出通道數是4，上下兩側總共填充4行，卷積核高度是3，所以輸出的高度是104−3+1=102
，寬度同理可得。
4、關於卷積層，以下哪種說法是錯誤的：
a、1×1
卷積可以看作是通道維上的全連線
b、某個二維卷積層用於處理形狀為3×100×100
的輸入，則該卷積層無法處理形狀為3×256×256
的輸入c、卷積層通過填充、步幅、輸入通道數、輸出通道數等調節輸出的形狀
d、兩個連續的3×3
卷積核的感受野與乙個5×5
卷積核的感受野相同
答：選擇b
a項：假設我們將通道維當作特徵維，將高和寬維度上的元素當成資料樣本，那麼1×1卷積可看作通道維上的全連線。主要有兩大作用：①實現跨通道的互動和資訊整合 ②進行卷積核通道的降維和公升維。
b項：：對於高寬維度，只要輸入的高寬（填充後的）大於或等於卷積核的高寬即可進行計算
c和d項正確
5、關於池化層，以下哪種說法是錯誤的：
a、池化層不參與反向傳播
b、池化層沒有模型引數
c、池化層通常會減小特徵圖的高和寬
d、池化層的輸入和輸出具有相同的通道數
答：選擇a
池化層有參與模型的正向計算，同樣也會參與反向傳播，只是池化層沒有模型引數。
lenet
1、關於lenet，以下說法中錯誤的是：
a、lenet主要分為兩個部分：卷積層塊和全連線層塊
b、lenet的絕大多數引數集中在卷積層塊部分
c、lenet在連線卷積層塊和全連線層塊時，需要做一次展平操作
d、lenet的卷積層塊交替使用卷積層和池化層。
答：選擇b
lenet模型中，90%以上的引數集中在全連線層塊。
2、關於卷積神經網路，以下說法中錯誤的是：
a、因為全連線層的引數數量比卷積層多，所以全連線層可以更好地提取空間資訊
b、使用形狀為2×2
，步幅為2的池化層，會將高和寬都減半
c、卷積神經網路通過使用滑動視窗在輸入的不同位置處重複計算，減小引數數量
d、在通過卷積層或池化層後，輸出的高和寬可能減小，為了盡可能保留輸入的特徵，我們可以在減小高寬的同時增加通道數
答：選擇a
①全連線層把影象展平成乙個向量，在輸入影象上相鄰的元素可能因為展平操作不再相鄰，網路難以捕捉區域性資訊。而卷積層的設計，天然地具有提取區域性資訊的能力。
②卷積層的參數量更少
卷積神經網路高階
1、關於alexnet描述錯誤的是
a、用dropout來控制全連線層的模型複雜度
b、包含有5層卷積和2層全連線隱藏層，以及1個全連線輸出層
c、將lenet中的relu啟用函式改成了sigmoid啟用函式。
d、首次證明了學習到的特徵可以超越⼿⼯設計的特徵
答：選擇c
2、下列哪個網路串聯多個由卷積層和「全連線」層構成的小⽹絡來構建⼀個深層⽹絡：
a、alexnet
b、vgg
c、nin
d、googlenet
答：選擇c
這個選項容易誤選b，vgg：通過重複使⽤簡單的基礎塊來構建深度模型。nin：串聯多個由卷積層和「全連線」層構成的小⽹絡來構建⼀個深層⽹絡。
⽤輸出通道數等於標籤類別數的nin塊，然後使⽤全域性平均池化層對每個通道中所有元素求平均並直接⽤於分類。
3、下列模型不是由基礎塊重複堆疊而成的是
a、alexnet
b、vgg
c、nin
d、googlenet
答：選擇a
alexnet由5個卷積層+2個全連線隱藏層+1個全連線層組成
4、通道數為3，寬高均為224的輸入，經過一層輸出通道數為96，卷積核大小為11，步長為4，無padding的卷積層後，得到的feature map的寬高為
a、96
b、54
c、53
d、224
答：選擇b
卷積計算公式： (n + 2p - f)/s + 1
⌊(224−11)/4⌋+1=54
5、關於vgg描述正確的是
a、使⽤全域性平均池化層對每個通道中所有元素求平均並直接⽤於分類。
b、通過不同視窗形狀的卷積層和最⼤池化層來並⾏抽取資訊。
c、與alexnet相比，難以靈活地改變模型結構。
d、通過重複使⽤簡單的基礎塊來構建深度模型。
答：選擇d
a項說的是nin，b項說的是googlenet，c項剛好說反了。
《動手學深度學習》task03課後習題
task03 過擬合 欠擬合及其解決方案 梯度消失 梯度 迴圈神經網路高階 task03筆記見 過擬合 欠擬合及其解決方案 1 關於驗證資料集的描述錯誤的是 a 測試資料集可以用來調整模型引數 b 驗證資料集可以用來調整模型引數 c 在資料不夠多的時候，k折交叉驗證是一種常用的驗證方法 d k折交叉...
深度強化學習task05
如果環境中的 reward 非常 sparse，reinforcement learning 的問題就會變得非常的困難，但是人類可以在非常 sparse 的 reward 上面去學習。我們的人生通常多數的時候，我們就只是活在那裡，都沒有得到什麼 reward 或是 penalty。但是，人還是可以採...
記錄 動手學深度學習05
6.7 門控迴圈單元 gru 重點 迴圈神經網路模型計算中的依賴關係圖。當總的時間步數較大或者當前時間步較小時，迴圈神經網路的梯度較容易出現衰減或 裁剪梯度可以應對梯度 但無法解決梯度衰減的問題。通常由於這個原因，迴圈神經網路在實際中較難捕捉時間序列中時間步距離較大的依賴關係。門控迴圈神經網路 ga...