1.列舉常見的一些範數及其應用場景，如l0，l1，l2，l∞，frobenius範數
2.簡單介紹一下貝葉斯概率與頻率派概率，以及在統計中對於真實引數的假設。
3.概率密度的萬能近似器
4.簡單介紹一下sigmoid，relu，softplus，tanh，rbf及其應用場景
5.jacobian，hessian矩陣及其在深度學習中的重要性
6.kl散度在資訊理論中度量的是那個直觀量
7.數值計算中的計算上溢與下溢問題，如softmax中的處理方式
8.與矩陣的特徵值相關聯的條件數(病態條件)指什麼，與梯度**與梯度瀰散的關係
9.在基於梯度的優化問題中，如何判斷乙個梯度為0的零界點為區域性極大值／全域性極小值還是鞍點，hessian矩陣的條件數與梯度下降法的關係
10.ktt方法與約束優化問題，活躍約束的定義
11.模型容量，表示容量，有效容量，最優容量概念
12.正則化中的權重衰減與加入先驗知識在某些條件下的等價性
13.高斯分布的廣泛應用的緣由
14.最大似然估計中最小化kl散度與最小化分布之間的交叉熵的關係
16.稀疏表示，低維表示，獨立表示
17.列舉一些無法基於地圖的優化來最小化的代價函式及其具有的特點
18.在深度神經網路中，引入了隱藏層，放棄了訓練問題的凸性，其意義何在
19.函式在某個區間的飽和與平滑性對基於梯度的學習的影響
20.梯度**的一些解決辦法
21.mlp的萬能近似性質
22.在前饋網路中，深度與寬度的關係及表示能力的差異
23.為什麼交叉熵損失可以提高具有sigmoid和softmax輸出的模型的效能，而使用均方誤差損失則會存在很多問題。分段線性隱藏層代替sigmoid的利弊
24.表示學習的發展的初衷？並介紹其典型例子:自編碼器
25.在做正則化過程中，為什麼只對權重做正則懲罰，而不對偏置做權重懲罰
26.在深度學習神經網路中，所有的層中考慮使用相同的權重衰減的利弊
27.正則化過程中，權重衰減與hessian矩陣中特徵值的一些關係，以及與梯度瀰散，梯度**的關係
28.l1／l2正則化與高斯先驗／對數先驗的map貝葉斯推斷的關係
29.什麼是欠約束，為什麼大多數的正則化可以使欠約束下的欠定問題在迭代過程中收斂
30.為什麼考慮在模型訓練時對輸入(隱藏單元／權重)新增方差較小的雜訊，與正則化的關係
31.共享引數的概念及在深度學習中的廣泛影響
32.dropout與bagging整合方法的關係，以及dropout帶來的意義與其強大的原因
33.批量梯度下降法更新過程中，批量的大小與各種更新的穩定性關係
34.如何避免深度學習中的病態，鞍點，梯度**，梯度瀰散
35.sgd以及學習率的選擇方法，帶動量的sgd對於hessian矩陣病態條件及隨機梯度方差的影響
36.初始化權重過程中，權重大小在各種網路結構中的影響，以及一些初始化的方法；偏置的初始化
37.自適應學習率演算法:adagrad，rmsprop，adam等演算法的做法
38.二階近似方法:牛頓法，共軛梯度，bfgs等的做法
39.hessian的標準化對於高階優化演算法的意義
40.卷積網路中的平移等變性的原因，常見的一些卷積形式
41.pooling的做法的意義
42.迴圈神經網路常見的一些依賴迴圈關係，常見的一些輸入輸出，以及對應的應用場景
43.seq2seq，gru，lstm等相關的原理
44.取樣在深度學習中的意義
45.自編碼器與線性因子模型，pca，ica等的關係
46.自編碼器在深度學習中的意義，以及一些常見的變形與應用
47.受限玻爾茲曼機廣泛應用的原因
48.穩定分布與馬爾可夫鏈
49.gibbs取樣的原理
50.配分函式通常難以計算的解決方案
51.幾種引數估計的聯絡與區別:mle／map／貝葉斯
52.半監督的思想以及在深度學習中的應用
53.舉例cnn中的channel在不同資料來源中的含義
54.深度學習在nlp，語音，影象等領域的應用及常用的一些模型
55.word2vec與glove的比較
56.注意力機制在深度學習的某些場景中為何會被大量使用，其幾種不同的情形
57.wide&deep模型中的wide和deep介紹
58.核回歸與rbf網路的關係
59.lstm結構推導，為什麼比rnn好？
60.過擬合在深度學習中的常見的一些解決方案或結構設計
61.怎麼理解貝葉斯模型的有效引數資料會根據資料集的規模自動調整
深度學習面試
cnn抓住此共性的手段主要有四個 區域性連線 權值共享 池化操作 多層次結構。relu 解決了gradient vanishing問題 在正區間 計算速度非常快，只需要判斷輸入是否大於0 收斂速度遠快於sigmoid和tanh loss.有哪些定義方式 基於什麼？有哪些優化方式，怎麼優化，各自的好處...
深度學習面試準備
深度學習離不開神經網路，我主要是做視覺方面的，所以做線性回歸問題不多，主要是影象方面的問題，例如影象分類 classification 檢測 detection 語義分割 例項分割 segmentation 主要會涉及到 卷積神經網路 cnn 本人對卷積神經網路的基本結構比較熟悉，所以就先直接介紹c...
如何面試深度學習的
基礎 一 關於現有模型 你想要招聘什麼崗位，比如人臉識別，目標檢測，ocr。然後問問當下比較流行的模型，讓其複述其結構。如何微調，注意哪些引數。二 無論是人臉識別，是目標檢測，還是ocr裡面都有一些特殊的東西，比如rpn，iou，ctw等等，讓他解釋下。階級三 基本網路 流行的網路結構，比如resn...