1、損失函式和風險函式
(1)損失函式：常見的有 0-1損失函式 絕對損失函式 平方損失函式 對數損失函式
(2)風險函式：損失函式的期望 經驗風險：模型在資料集t上的平均損失
根據大數定律，當n趨向於∞時，經驗風險趨向於風險函式
2、模型評估方法
(1)訓練誤差與測試誤差
訓練誤差：關於訓練集的平均損失
測試誤差：定義模型關於測試集的平均損失。其反映了學習方法對未知測試資料集的**能力
(2)泛化誤差：學到的模型對未知資料的**能力。其越小，該模型越有效。泛化誤差定義為所學習模型的期望風險
(3)過擬合：對已知資料**得很好，對未知資料**得很差的現象。原因是將訓練樣本本身的一些特點當做了所有潛在樣本都具有的一般性質，這會造成泛化能力的下降。常用的防止過擬合的辦法為正則化。正則化是基於結構化風險最小化策略的實現。
3、模型評估
(1)留出法：直接將資料劃分為三個互斥的部分，然後在訓練集上訓練模型，在驗證集上選擇模型，最後用測試集上的誤差作為泛化誤差的估計。
(2)交叉驗證法(s折交叉驗證法)：資料隨機劃分為s個互不相交且大小相同的子集，利用s-1個子集資料訓練模型，利用餘下的乙個子集測試模型。對s種組合依次重複進行，獲取測試誤差的均值。
(3)留一法：留出乙個樣例作為測試集。其缺點就是當資料集比較大時計算量太大
(4)自助法：先從t中隨機取出乙個樣本放入取樣集ts中，再把該樣本放回t中。經過n次隨機取樣操作，得到包含n個樣本的取樣集ts。將ts用作訓練集，t-ts用過測試集。
4、效能度量
(1)測試準確率和測試錯誤率
(2)混淆矩陣
查準率：p=tp/(tp+fp) ，即所有**為正類的結果中，真正的正類的比例
查全率：r=tp/(tp+fn)，即正真的正類中，被分類器找出來的比例
不同的問題中，判別標準不同。對於推薦系統，更側重於查準率（即推薦的結果中，使用者真正感興趣的比例）；對於醫學診斷系統，更側重於查全率（即疾病被發現的比例）
2/f1=1/p+1/r
5、roc曲線
真正例率：tpr=tp/(tp+fn)
假正例率：fpr=fp/(tn+fp)，刻畫的是分類器錯認為正類的負例項佔所有負例項的比例
以真正例率為縱軸、假正例率為橫軸作圖，就得到roc曲線。在roc圖中，對角線對應於隨機猜想模型。點(0,1)對應於理想模型。通常roc曲線越靠近點(0,1)越好。
6、偏差方差分解
**如下：
1、損失函式和風險函式
(1)損失函式：常見的有 0-1損失函式 絕對損失函式 平方損失函式 對數損失函式
(2)風險函式：損失函式的期望 經驗風險：模型在資料集t上的平均損失
根據大數定律，當n趨向於∞時，經驗風險趨向於風險函式
2、模型評估方法
(1)訓練誤差與測試誤差
訓練誤差：關於訓練集的平均損失
測試誤差：定義模型關於測試集的平均損失。其反映了學習方法對未知測試資料集的**能力
(2)泛化誤差：學到的模型對未知資料的**能力。其越小，該模型越有效。泛化誤差定義為所學習模型的期望風險
(3)過擬合：對已知資料**得很好，對未知資料**得很差的現象。原因是將訓練樣本本身的一些特點當做了所有潛在樣本都具有的一般性質，這會造成泛化能力的下降。常用的防止過擬合的辦法為正則化。正則化是基於結構化風險最小化策略的實現。
3、模型評估
(1)留出法：直接將資料劃分為三個互斥的部分，然後在訓練集上訓練模型，在驗證集上選擇模型，最後用測試集上的誤差作為泛化誤差的估計。
(2)交叉驗證法(s折交叉驗證法)：資料隨機劃分為s個互不相交且大小相同的子集，利用s-1個子集資料訓練模型，利用餘下的乙個子集測試模型。對s種組合依次重複進行，獲取測試誤差的均值。
(3)留一法：留出乙個樣例作為測試集。其缺點就是當資料集比較大時計算量太大
(4)自助法：先從t中隨機取出乙個樣本放入取樣集ts中，再把該樣本放回t中。經過n次隨機取樣操作，得到包含n個樣本的取樣集ts。將ts用作訓練集，t-ts用過測試集。
4、效能度量
(1)測試準確率和測試錯誤率
(2)混淆矩陣
查準率：p=tp/(tp+fp) ，即所有**為正類的結果中，真正的正類的比例
查全率：r=tp/(tp+fn)，即正真的正類中，被分類器找出來的比例
不同的問題中，判別標準不同。對於推薦系統，更側重於查準率（即推薦的結果中，使用者真正感興趣的比例）；對於醫學診斷系統，更側重於查全率（即疾病被發現的比例）
2/f1=1/p+1/r
5、roc曲線
真正例率：tpr=tp/(tp+fn)
假正例率：fpr=fp/(tn+fp)，刻畫的是分類器錯認為正類的負例項佔所有負例項的比例
以真正例率為縱軸、假正例率為橫軸作圖，就得到roc曲線。在roc圖中，對角線對應於隨機猜想模型。點(0,1)對應於理想模型。通常roc曲線越靠近點(0,1)越好。
6、偏差方差分解
**如下：
風險評估雜談
我個人覺得作為乙個優秀的服務團隊必須具備如下的一下基本要求也是我們盡量要給使用者展示的實力。1 需要先進的方 資訊保安風險評估基礎是風險量化所有的計算都是數學模型，所以風險評估的方 就顯得尤為重要了再好的團隊。如果你的方 錯了，那你擁有在先進的技術，其結果一定是錯誤的。作為乙個專業的安全服務公司你必...
測試風險評估
對於新手來說，最要命的是找不到重點，只是按照測試用例依序測試或者測試自己熟悉的 最先接觸的用例。拿到乙個需求，首先要評估最重要使用場景和功能，在最短的時間內找出最要命的問題。最要命的風險是什麼？最要命的風險是什麼？最要命的風險是什麼？乙個最簡單的測試單元，針對它的測試組合也有可能有千萬種。測試了多少...
風險評估雜談
風險評估雜談 1 需要先進的方 資訊保安風險評估基礎是風險量化所有的計算都是數學模型，所以風險評估的方 就顯得尤為重要了再好的團隊。如果你的方 錯了，那你擁有在先進的技術，其結果一定是錯誤的。作為乙個專業的安全服務公司你必須要有自己明確的風險評估的方 並且提出他的合理性。通俗的講，就是風險是如何構成...