[機器學習]機器學習實踐中應避免的七種常見錯誤：在機器學習領域，每個給定的建模問題都存在幾十種解法，每個模型又有難以簡單判定是否合理的不同假設。在這種情況下，大多數從業人員傾向於挑選他們熟悉的建模演算法，本文作者則認為，模型演算法的假設並不一定適用於手頭的資料；在追求模型最佳效能時，重要的是選擇適合資料集（尤其是「大資料」）的模型演算法。
以下為正文：
在工程開發中，人們有多種方法搭建一套鍵-值儲存系統，每種設計針對使用模式有不同的假設。在統計建模中，也有很多演算法來構造乙個分類器，每種演算法對資料也有假設集合。
當處理少量資料時，因為實驗成本很低，我們盡可能多的嘗試各種演算法，從而選出效果最優的演算法。但提到「大資料」，提前分析資料，然後設計相應「管道」模型（預處理，建模，優化演算法，評價，產品化）是事半功倍的。
正如在我以前的文章裡提到，每個給定的建模問題都存在幾十種解法。每個模型會提出不同的假設條件，我們也很難直觀辨別哪些假設是合理的。在業界，大多數從業人員傾向於挑選他們熟悉的建模演算法，而不是最適合資料集的那個。在這篇文章中，我將分享一些常見的認識誤區（要避免的）。在今後的文章中再介紹一些最佳實踐方法（應該做的）。
很多從業者喜歡用預設的損失函式（比如平方誤差）來訓練和選擇最優模型。事實上，預設的損失函式很少能滿足我們的業務需求。拿詐騙檢測來說。當我們檢測詐騙交易時，我們的業務需求是儘量減少詐騙帶來的損失。然而現有二元分類器預設的損失函式對誤報和漏報的危害一視同仁。對於我們的業務需求，損失函式不僅對漏報的懲罰要超過誤報，對漏報的懲罰程度也要和詐騙金額成比例。而且，詐騙檢測的訓練資料集往往正負樣本極度不均衡。在這種情況下，損失函式就要偏向於照顧稀少類（如通過公升/降取樣等）。
當需要構建乙個二元分類器時，很多人馬上就想到用邏輯回歸，因為它很簡單。但是，他們忘記了邏輯回歸是線性模型，非線性因素的交叉特徵需要靠手工編碼處理。回到剛才詐騙檢測的例子，要獲得好的模型效果，就需要引入「帳單位址=送貨位址 && 交易金額
異常值很有意思。根據上下文情況，它們要麼需要被特別處理，要麼應該被完全忽略。就拿收入**來說。如果觀察到收入有異常尖峰，我們可能要加倍注意他們，並分析是什麼原因造成這些峰值。但如果異常值是由於機械誤差、測量誤差或者其它任何非普遍化因素導致的，那我們最好在準備訓練資料之前過濾掉這些異常值。
有些模型演算法對異常值非常靈敏。比如，adaboost 會對它們「倍加關注」，賦予乙個相當大的權重值。相反，決策樹就簡單地把它們當做錯誤分類來處理。如果資料集包含相當數量的異常值，那麼，使用一種具有異常值魯棒性的建模演算法或直接過濾掉異常值是非常重要的。
svm是最流行的建模演算法之一，它的強大功能之一就在於用不同核函式去擬合模型。svm核心被認為是可以自發組合現有特徵，從而形成更高維度特徵空間的方法。由於獲得這項強大功能的代價幾乎忽略不計，大多數人在訓練svm模型時預設使用核函式。然而，當訓練樣本數遠遠少於特徵維度時（n<
使用l1或l2正則化是線性回歸或邏輯回歸懲罰權重系數值過大的常用方法。然而，許多人在使用這些正則化方法時都沒有意識到標準化的重要性。
再回到詐騙檢測，設想乙個把交易金額作為特徵的線性回歸模型。如果不做正則化，當交易金額以美元為單位時，其擬合係數將會是以美分為單位時的100倍。同時，因為l1/l2正則化對系數值大的項懲罰更重，美元作為單位時交易金額這個維度將會受到更多的懲罰。因此，正則化並不是一視同仁，它往往在更小尺度上懲罰特徵。為了緩解這一問題，需要在預處理過程中標準化所有特徵，使它們處在平等的位置。
假設構建乙個含有x1和x2兩個變數的線性模型，真實的模型是y = x1 + x2。理想情況下，如果資料僅含有少量噪點，線性回歸模型能夠還原真實模型。然而，如果x1和x2存**性相關，對於大多數優化演算法而言，無論y = 2 * x1 , y = 3 * x1-x2 還是 y = 100 * x1-99 * x2效果都一樣好。儘管這個問題沒有造成我們**的偏差，看上去它似乎並無大礙。但是，它使問題變得病態了，因為係數權重無法得到解釋。
因為很多現成的線性回歸方法返回每個係數的p值，很多人就認為係數的絕對值越大，對應的特徵就發揮更大作用。事實並非如此，因為（一）縮放變數就會改變係數絕對值；（二）如果特徵是線性相關的，其係數可以從一維特徵轉移到另一維特徵。此外，資料集包含的特徵維度越多，特徵之間就越有可能線性相關，用係數解釋特徵重要性就越不靠譜。
以上就是機器學習實踐操作中的7個常見錯誤。這個列表並不完整，它只是激發讀者去思考，模型演算法的假設並不一定適用於手頭的資料。在追求模型最佳效能時，重要的是選擇適合資料的模型演算法，而不是你最熟悉的那個。
機器學習實踐中應避免的七種常見錯誤
摘要 在機器學習領域，每個給定的建模問題都存在幾十種解法，本文作者認為，模型演算法的假設並不一定適用於手頭的資料 在追求模型最佳效能時，重要的是選擇適合資料集 尤其是 大資料 的模型演算法。編者按 在機器學習領域，每個給定的建模問題都存在幾十種解法，每個模型又有難以簡單判定是否合理的不同假設。在這種...
機器學習 機器學習目錄
注 後期有時間的話會對每乙個演算法進行講解。1 普通線性回歸 2 廣義線性模型 3 邏輯回歸 4 線性判定分析1 決策樹基本原理與構建 2 cart演算法 3 回歸決策樹 4 分類決策樹1 貝葉斯定理與樸素貝葉斯 2 高斯貝葉斯分類器 3 多項式貝葉斯分類器 4 伯努利貝葉斯分類器 5 遞增式學習1...
機器學習 機器學習概論
3 模型評估與模型選擇 4.具體應用 統計學習 是關於計算機基於 資料 構建概率統計模型並運用模型對資料進行 分析 統計學習的三要素 模型在監督學習中，模型就是所要學習的條件概率分布或決策函式。這在後面的章節中會重點介紹。策略 評價模型的標準 用損失函式和代價函式來度量 錯誤的程度。1 幾種損失函式...