1、超引數
在機器學習的上下文中，超引數是在開始學習過程之前設定值的引數，而不是通過訓練得到的引數資料。通常情況下，需要對超引數進行優化，給學習機選擇一組最優超引數，以提高學習的效能和效果。
超引數的一些示例：
a 樹的數量或樹的深度
b 矩陣分解中潛在因素的數量
c 學習率（多種模式）
d 深層神經網路隱藏層數
e k均值聚類中的簇數
2、留出法(hold-out)
直接將資料集d劃分為兩個互斥的集合，其中乙個集合作為訓練集s，另外乙個作為測試集t，即d=s∪t,s∩t=0。在s上訓練出模型後，用t來評估其測試誤差，作為對泛化誤差的評估。
留一法是留出法的乙個特列，假如樣本容量為m，則訓練乙個模型時需要將m-1個樣本作為訓練樣本，將剩餘的1個樣本作為測試樣本，每個樣本都需要被選出一次作為測試樣本，因此共需要訓練m個學習器。
參考文獻：
超引數/3101858?fr=aladdin
統計學基礎知識精講
1 回歸評價指標mse rmse mae r squared的分析可以參閱這裡 2 置信區間與置信水平 置信度 可以參閱這裡 3 正規化可以參閱這裡 4 方差計算公式的分母究竟是n還是n 1？如果要計算整體樣本的方差 例如只是想計算一組資料的方差 那麼方差計算公式如下 如果想通過計算部分樣本的方差，...
機器學習基礎知識
machine learning的主要兩個應用方面 人工智慧 資料科學。什麼是人工智慧 artificial intelligence ai是不確定性管理 uncertainty management 的體現 ai what to do when you don t know what to do ...
機器學習基礎知識
機器學習基礎知識 1 誤差 學習器實際 輸出與樣本的真實輸出之間的差異稱為 誤差 有經驗誤差 也成訓練誤差 和泛化誤差。我們實際需要的是泛化誤差較小的學習器。2 過擬合與欠擬合 過擬合 學習能力太過強大，把訓練樣本中的特殊特性當作一般特性導致泛化效能下降。欠擬合 學習能力低下，不能很好的 輸出。3 ...