模型選擇：對特定任務最優建模方法的選擇或者對特定模型最佳引數的選擇。
在訓練資料集上執行模型(演算法)並在測試資料集中測試效果，
迭代進行資料模型的修改， 這種方式被稱為交叉驗證(將資料分為訓練集和測試集，使用訓練集構建模型，並使用測 試集評估模型提供修改建議)
模型的選擇會盡可能多的選擇演算法進行執行，並比較執行結果 模型的測試一般以下幾個方面來進行比較，分別是準確率/召回率/精準率/f值
準確率(accuracy)=提取出的正確樣本數/總樣本數
召回率(recall)=正確的正例樣本數/樣本中的正例樣本數——覆蓋率
精準率(precision)=正確的正例樣本數/**為正例的樣本數
f值=precisionrecall2 / (precision+recall) (即f值為正確率和召回率的調和平均值)
roc（receiver operating characteristic）最初源於20世紀70年代的訊號 檢測理論，描述的是分類混淆矩陣中fpr-tpr兩個量之間的相對變化情況， roc曲線的縱軸是「真正例率」（true positive rate 簡稱tpr），橫軸是「假 正例率」 （false positive rate 簡稱fpr）。 如果二元分類器輸出的是對正樣本的乙個分類概率值，當取不同閾值時會 得到不同的混淆矩陣，對應於roc曲線上的乙個點。那麼roc曲線就反映了 fpr與tpr之間權衡的情況，通俗地來說，即在tpr隨著fpr遞增的情況下，誰 增長得更快，快多少的問題。tpr增長得越快，曲線越往上屈，auc就越大， 反映了模型的分類效能就越好。當正負樣本不平衡時，這種模型評價方式比起 一般的精確度評價方式的好處尤其顯著。
auc的值越大表達模型越好 auc（area under curve）被定義為roc曲線下的面積，顯然這個 面積的數值不會大於1。又由於roc曲線一般都處於y=x這條直線的 上方，所以auc的取值範圍在0.5和1之間。使用auc值作為評價標準 是因為很多時候roc曲線並不能清晰的說明哪個分類器的效果更好， 而auc作為數值可以直觀的評價分類器的好壞，值越大越好。 auc = 1，是完美分類器，採用這個**模型時，不管設定什麼閾值 都能得出完美**。絕大多數**的場合，不存在完美分類器。 0.5 < auc < 1，優於隨機猜測。這個分類器（模型）妥善設定閾值 的話，能有**價值。 auc = 0.5，跟隨機猜測一樣（例：丟銅板），模型沒有**價值。 auc < 0.5，比隨機猜測還差；但只要總是反**而行，就優於隨機 猜測
回歸結果度量
explained_varicance_score：可解釋方差的回歸評分函式
mean_absolute_error：平均絕對誤差
mean_squared_error：平均平方誤差
實際工作用一般採用精準率和召回率的平均調和值f1作為標準，考慮到工作週期，模型的運算速度也是乙個重要標準，裝置的記憶體大小，模型的大小問題
模型評價指標 精確率，準確率，召回率，F1值
自然語言處理 nlp 機器學習 ml 資訊檢索 ir 等領域,評估 evaluation 是乙個必要的工作,而其評價指標往往有如下幾點 準確率 accuracy 精確率 precision 召回率 recall 和f1 measure。現在我先假定乙個具體場景作為例子。假如某個班級有男生80人,女生...
理解記憶準確率，精準率，召回率。
如何理解這個表？1 positive 0 negative t 正確 f 錯誤 tp 為p 1 正確 那麼實際是1。對應 位置 1，1 fp 為p 1 錯誤 那麼實際是0。對應 位置 1，0 fn 為n 0 錯誤，那麼實際是1。對應 位置 0，1 tn 是n 0 正確，那麼實際是0。對應 位置 0，...
準確率召回率
知道意思，但是有時候要很清晰地向同學介紹則有點轉不過彎來。召回率和準確率是資料探勘中 網際網路中的搜尋引擎等經常涉及的兩個概念和指標。召回率 recall，又稱 查全率 還是查全率好記，也更能體現其實質意義。準確率 precision，又稱 精度 正確率 以檢索為例，可以把搜尋情況用下圖表示 相關 ...