part1 模型選擇1 誤差與資料集
● 訓練誤差(training error)：模型在訓練集上表現出的誤差。
● 泛化誤差(generalization error)：在任意乙個測試資料樣本上表現出的誤差的期望。
舉個栗子，訓練誤差就是做往屆試卷（訓練）的錯誤率，泛化誤差則可以通過真正參加考試（測試）時的答題錯誤率來近似。機器學習模型應該關注降低泛化誤差。
● 驗證集(validation set): 預留一部分在訓練資料集和測試資料集以外的資料來進行模型選擇。這部分資料被稱為驗證資料集，簡稱驗證集。
● k折交叉驗證(k-fold cross-validation): 將原始訓練資料集分割成k個不重複的子資料集，然後做k次模型訓練和驗證。每一次使用乙個子資料集驗證模型，並使用其他k-1個子資料集來訓練模型。在這k次訓練和驗證中，每次用來驗證模型的子資料集都不同，最後，我們對k次訓練誤差和驗證誤差分別求平均。2 過擬合與欠擬合
● 欠擬合(underfitting): 模型無法得到較低的訓練誤差
● 過擬合(overfitting): 模型的訓練誤差遠小於它在測試資料集上的誤差
● 模型複雜度● 訓練資料集大小：影響欠擬合和過擬合的另乙個重要因素時訓練資料集的大小。一般來說，如果訓練資料集中樣本數過少，特別是比模型引數更少時，過擬合更容易發生。此外，泛化誤差不會隨訓練資料集裡的樣本數量增加而增大。因此，在計算資源允許的範圍之內，我們通常希望訓練資料集大一些，特別是在模型複雜度較高時。
動手學深度學習學習筆記（2）
操作 算術操作 在pytorch中，同一種操作可能有很多種形式，下面用加法作為例子。加法形式一 y torch.rand 5,3 print x y 加法形式二 print torch.add x,y 還可指定輸出 result torch.empty 5,3 torch.add x,y,out r...
筆記 動手學深度學習
在求數值解的優化演算法中，小批量隨機梯度下降 mini batch stochastic gradient descent 在深度學習中被廣泛使用。它的演算法很簡單 先選取一組模型引數的初始值，如隨機選取 接下來對引數進行多次迭代，使每次迭代都可能降低損失函式的值。在每次迭代中，先隨機均勻取樣乙個由...
深度學習 動手學深度學習筆記 12
g是乙個生成的網路，它接收乙個隨機的雜訊z，通過這個雜訊生成，記做g z d是乙個判別網路，判別一張是不是 真實的 它的輸入引數是x，x代表一張，輸出d x 代表x為真實的概率，如果為1，就代表100 是真實的，而輸出為0，就代表不可能是真實的。在訓練過程中，生成網路g的目標就是盡量生成真實的去欺騙...