通常，在訓練有監督的機器學習模型的時候，會將資料劃分為訓練集、驗證集合測試集，劃分比例一般為0.6:0.2:0.2。對原始資料進行三個集合的劃分，是為了能夠選出效果（可以理解為準確率）最好的、泛化能力最佳的模型。
訓練集（training set）
作用是用來擬合模型，通過設定分類器的引數，訓練分類模型。後續結合驗證集作用時，會選出同一引數的不同取值，擬合出多個分類器。
驗證集(cross validadon set)
作用是當通過訓練集訓練出多個模型後，為了能找出效果最佳的模型，使用各個模型對驗證集資料進行**，並記錄模型準確率。選出效果最佳的模型所對應的引數，即用來調整模型引數。如svn中的引數c和核函式等。
測試集(test set)
通過訓練集和驗證集得出最優模型後，使用測試集進行模型**。用來衡量該最優模型的效能和分類能力。即可以把測試集當做從來不存在的資料集，當已經確定模型引數後，使用測試集進行模型效能評價。
對原始資料進行三個資料集的劃分，也是為了防止模型過擬合。當使用了所有的原始資料去訓練模型，得到的結果很可能是該模型最大程度地擬合了原始資料，亦即該模型是為了擬合所有原始資料而存在。當新的樣本出現，再使用該模型進行**，效果可能還不如只使用一部分資料訓練的模型。
訓練集 驗證集 測試集的作用
在機器學習或者深度學習中，我們需要了解我們的模型包括什麼 1 模型設計 模型架構 包括模型有多少層，每層有多少個神經元 可訓練權重引數 模型內建引數 2 模型訓練的引數 模型外接引數，如學習率 優化策略等等 訓練集 train set 用於模型擬合的資料樣本。在訓練過程中對訓練誤差進行梯度下降，進行...
訓練集 測試集 驗證集與交叉驗證
當我們訓練好乙個模型時，我們不只希望這個模型只在訓練集上表現的好，更重要的是希望這個模型後續能表現的好，這時候就需要測試集，用於評估這個模型的泛化能力。通常情況下，我們將資料以8 2的比例分割訓練集和測試集。在演算法模型中，我們還要使用正則化技術，避免過擬合。其中乙個做法就是使用100個不同超引數訓...
訓練集 測試集 驗證集與交叉驗證
初學者對於訓練集 train set 測試集 test set 驗證集 validation set 這三個概念和應用非常容易搞混，這裡我結合各種博文和書籍上的講解進行總結 參與訓練，模型從訓練集中學習經驗，從而不斷減小訓練誤差。這個最容易理解，一般沒什麼疑惑。不參與訓練，用於在訓練過程中檢驗模型的...