錯誤率：如果在m個樣本中有a個樣本分類錯誤，那麼錯誤率=a/m
精度：1-錯誤率
誤差：實際**輸出與樣本的真實輸出之間的差異
訓練誤差/經驗誤差：學習器在訓練集上的誤差，在很多情況下，我們都可以學得乙個經驗誤差很小，在訓練集上表現很好的學習器
泛化誤差：在新樣本上的誤差，我們希望得到的是乙個泛化誤差很小的學習器，但這點不能通過訓練誤差來保證
過擬合：訓練誤差很小但是泛化誤差很大，換而言之，在訓練過程中表現很好但是在遇到新樣本的時候表現很差。這是因為當學習器把訓練樣本覺得『太過』了的時候，很可能把訓練樣本本身的一些特點當成了普遍規律，這樣就會導致泛化效能變差。過擬合不太容易克服，或者說是無法徹底避免的
欠擬合：對訓練樣本的一般性質未能學好，欠擬合比較容易克服，例如增加模型複雜度，增加訓練輪數等
錯誤率和精度雖然常用，但是並不能評估所有的問題。比如老板給了你乙個關於癌症檢測的資料集，你構建了乙個二分類，器然後計算了準確率，為98%， 這個模型是否就是個好模型? 在資料中，癌症的比例本身就很小，比如只有2%,那麼我的分類器一概地把資料**為不患癌症，這樣算起來準確率也有98%。在癌症檢測中，我們更關心的是所有癌症患者中有多少被挑了出來，所以按照錯誤率或者精度來評估是不夠的。
說到這裡，就引出了查準率，查全率和f1
我們以二分類為例，來看看上面幾個概念分別代表什麼意思。在二分類問題中，可以根據**類別和真實類別的比較將結果分為真正例，假正例，假反例和真反例。
查準率 = 真正例/（真正例+假正例），即所有被**為正例的例子中真正的正例有多少
查全率 = 真正例/（真正例+假反例），即所有真實的為正例的例子中有多少真正的正例被挑選出來
f1 = 2查準率查全率/（查準率+查全率），綜合查全率和查準率的指標
在不同的情況下，我們對於查準率和查全率的重視情況不同，比如在商品推薦中，查準率更重要，因為不希望出現打擾使用者的資訊；而在逃犯資訊檢索系統中，希望找到所有的逃犯，那麼查全率更重要。我們可以對f1的公式中加乙個引數，使其對查全率或者查準率有一些偏好。
kmeans及模型評估指標 模型的評估指標
想必大家都知道，構建機器學習模型就是為了能夠更好的訓練我們的資料集，使得模型的準確率達到最大，那麼當我們構建好了我們的學習模型，可以通過哪些指標來評估我們模型的好壞呢？這就是我今天要給大家介紹的內容。一.精確率與召回率 1.混淆矩陣 在分類過程中，結果與正確標記之間存在四種不同的組合，構成了混淆矩陣...
模型評估的方法
一 回歸模型評估 1 mse 均方誤差 sklearn.metrics.mean squared error y test,y predict 二 分類模型評估 1 accuracy score分類準確率分數 正確的樣本數目佔總體的比例 正確的樣本數目 正例 正確的 負例 正確的樣本數 注 如果乙個...
分類模型的評估
1.混淆矩陣 對於乙個分類器 二分類 結果和真實情況總共存在四種情況，值分為正類 負類，真實值分分為正類 父類，兩兩組合，共有四種情況，如下所示，即組成乙個混淆矩陣 針對多分類問題，真實情況有n類，情況有n類，所以其混淆矩陣為nxn 準確率即為所有 正確的樣本 樣本總數 即 accuracy tp ...