第3周測驗 - 淺層神經網路
1.以下哪一項是正確的？
【★】x是乙個矩陣，其中每個列都是乙個訓練示例。
【★】a[2]4a4[2] 是第二層第四層神經元的啟用的輸出。
【★】a[2](12)a[2](12)表示第二層和第十二層的啟用向量。
【★】a[2]a[2] 表示第二層的啟用向量。
注意：如果您不熟悉本課程所使用的符號，請 戳我。
2.tanh啟用函式通常比隱藏層單元的sigmoid啟用函式效果更好，因為其輸出的平均值更接近於零，因此它將資料集中在下一層是更好的選擇，請問正確嗎？
【★】true
【 】 false
其中哪乙個是第l層向前傳播的正確向量化實現，其中1≤l≤l1≤l≤l
z[l]=w[l]a[l−1]+b[l]z[l]=w[l]a[l−1]+b[l]
a[l]=g[l](z[l])a[l]=g[l](z[l])
4.您正在構建乙個識別黃瓜（y = 1）與西瓜（y = 0）的二元分類器。 你會推薦哪一種啟用函式用於輸出層？
【 】 relu
【 】 leaky relu
【★】sigmoid
【 】 tanh
5.sigmoid輸出的值介於0和1之間，這使其成為二元分類的乙個非常好的選擇。 如果輸出小於0.5，則可以將其歸類為0，如果輸出大於0.5，則歸類為1。 它也可以用tanh來完成，但是它不太方便，因為輸出在-1和1之間。
看一下下面的**：
a = np.random.randn(4,3)
b = np.sum(a, axis = 1, keepdims = true)12
請問b.shape的值是多少?
b.shape = (4, 1)
6.我們使用（keepdims = true）來確保a.shape是（4,1）而不是（4，），它使我們的**更加嚴格。
假設你已經建立了乙個神經網路。 您決定將權重和偏差初始化為零。 以下哪項陳述是正確的？
【★】第乙個隱藏層中的每個神經元節點將執行相同的計算。 所以即使經過多次梯度下降迭代後，層中的每個神經元節點都會計算出與其他神經元節點相同的東西。
【 】 第乙個隱藏層中的每個神經元將在第一次迭代中執行相同的計算。 但經過一次梯度下降迭代後，他們將學會計算不同的東西，因為我們已經「破壞了對稱性」。
【 】第乙個隱藏層中的每乙個神經元都會計算出相同的東西，但是不同層的神經元會計算不同的東西，因此我們已經完成了「對稱破壞」。
【 】即使在第一次迭代中，第乙個隱藏層的神經元也會執行不同的計算， 他們的引數將以自己的方式不斷發展。
7.logistic回歸的權重w應該隨機初始化，而不是全零，因為如果初始化為全零，那麼邏輯回歸將無法學習到有用的決策邊界，因為它將無法「破壞對稱性」，是正確的嗎？
【 】true
【★】false
8.logistic回歸沒有隱藏層。 如果將權重初始化為零，則logistic回歸中的第乙個示例x將輸出零，但logistic回歸的導數取決於不是零的輸入x（因為沒有隱藏層）。 因此，在第二次迭代中，如果x不是常量向量，則權值遵循x的分布並且彼此不同。
您已經為所有隱藏單元使用tanh啟用建立了乙個網路。 使用np.random.randn（..，..）* 1000將權重初始化為相對較大的值。 會發生什麼？
【 】這沒關係。只要隨機初始化權重，梯度下降不受權重大小的影響。
【 】這將導致tanh的輸入也非常大，因此導致梯度也變大。因此，您必須將α設定得非常小以防止發散; 這會減慢學習速度。
【 】這會導致tanh的輸入也非常大，導致單位被「高度啟用」，從而加快了學習速度，而權重必須從小數值開始。
【★】這將導致tanh的輸入也很大，因此導致梯度接近於零， 優化演算法將因此變得緩慢。
9.tanh對於較大的值變得平坦，這導致其梯度接近於零。 這減慢了優化演算法。
看一下下面的單隱層神經網路：
【★】b[1]b[1] 的維度是(4, 1)
【★】w[1]w[1] 的維度是 (4, 2)
【★】w[2]w[2] 的維度是 (1, 4)
【★】b[2]b[2] 的維度是 (1, 1)
10.i在和上乙個相同的網路中，z[1]z[1] 和 a[1]a[1]的維度是多少？
【★】z[1]z[1] 和 a[1]a[1] 的維度都是 (4,m)
吳恩達深度學習第2周測驗 神經網路基礎
網易雲課堂 深度學習工程師微專業 第2周測驗 神經網路基礎 1.神經元節點計算什麼？神經元節點先計算啟用函式，再計算線性函式 z wx b 神經元節點先計算線性函式 z wx b 再計算啟用。神經元節點計算函式g，函式g計算 wx b 在 將輸出應用於啟用函式之前，神經元節點計算所有特徵的平均值 請...
DeepLearning 吳恩達深度學習第三課筆記
orthogonalization 正交化 乙個調整只帶來乙個方面的影響 評價標準 1 optimizing n 1 satisficing training set dev set test set dev開發集和test測試集來自同樣的分布 樣本劃分 小樣本100 10000 70 30 或者 ...
深度學習 吳恩達
第三週神經網路 啟用函式 第一門課 感謝黃博的參考筆記 一次梯度下降 正向傳播與反向傳播 一次反向傳播梯度下降 注意與機器學習課程不同的一點是，第一層不算樣本輸入 a t an z a tan z a tan z 的值域是位於 1和 1之間。a t anh z e z e zez e za tanh...