機器學習的常見錯誤 只有模型沒有系統

2021-09-27 10:57:25 字數 1117 閱讀 2500

我們在學習機器學習的時候總會遇到很多的問題,而這些問題總是導致很多的問題,其實這些都是正常的,我們只有正視這些錯誤才能夠更好地進行操控機器學習,而機器學習的常見錯誤有很多,我們在這篇文章中給大家介紹一下機器學習的常見錯誤,那就是只有模型沒有系統。那麼究竟是怎麼一回事呢?下面我們就給大家介紹一下這個情況。

相信大家已經知道機器學習的核心知識吧,其實機器學習系統的核心是各種機器學習模型,但並不能說模型是系統的全部,甚至都不一定是系統中最重要的部分。如果把乙個完整的機器學習系統比喻成一部手機,那麼模型可以算作是手機的處理器,但是我們知道除了處理器以外,影響手機最終效能的因素還有非常的多,比如說螢幕,做工等等,而有了高階處理器並不能說明這是一款好手機。

當然,用這個比喻說機器學習也是一樣的,要想讓模型充分發揮作用,這就需要在系統構建時具有充分的大局觀意識,把模型當做系統的一部分來看待。在這裡需要提醒大家的是,在注意優化模型的同時,更要注意模型的提公升是否對系統整體最終效果產生了提公升,如果沒有,那麼要從系統中模型以外的部分找問題。而在所以在開發系統的過程中,不能只關注模型本身的好壞,更重要的是要關注模型對系統最終影響,以調優系統為目標,而不是僅僅調優模型為目標。如果只看到模型而看不到系統,很可能會做出指標漂亮但是沒有實效的花瓶系統來。

當然,還有人在學習機器學習的時候忽視模型過程和細節。很多人覺得機器學習模型只需要把樣本和特徵放進去,就會有好用的模型引數生成,其實並不是這樣的,如果這樣想,會讓人習慣性地忽略模型的細節,比如說某個引數為何是這個取值,這個取值是否合理,這個取值對應的樣本資料是什麼樣子等問題,我們需要做的事情就是把精力都花在調一些外部引數之類的工作上。當然,如果硬要這樣做的話,得到的後果就是如果模型效果不好,不一定能夠通過調整外部引數來達到調優效果。在樣本收集處理過程中,摻入了一些噪音資料沒有去除,那麼這些噪音資料會影響最終的模型引數,進而影響模型效果。這種問題通過調一些諸如正則化引數之類的引數是無法解決的,真正有效的解決方法是深入的具體引數中,找到表現異常的引數,然後深入到該引數對應的正負樣本及其特徵,這樣逐層滲透地查詢問題。典型的lr模型作為當今最流行的模型,很多人只看到了訓練速度和擴充套件性這些優點,而沒有充分利用模型簡潔性這一特點。lr簡潔的引數形式非常適合使用上面描述的問題查詢方法來定位問題。

常見機器學習模型總結

1 分類 線性分類器 如lr 支援向量機 svm 樸素貝葉斯 nb k近鄰 knn 決策樹 dt 整合模型 rf gdbt等 2 回歸 線性回歸 支援向量機 svm k近鄰 knn 回歸樹 dt 整合模型 extratrees rf gdbt 資料聚類 k means 資料降維 pca 等等.1 各...

常見機器學習模型之間的關係

1.中文解釋 線性回歸。2.模型思想 對於能夠以f xi wxi b表達的線性模型,線性回歸就是試圖學得恰當得向量w和標量b,使得f xi yi,其中yi是真實輸出。那只需要設計乙個衡量f xi 與yi的差異函式e xi,yi,w,b 機器學習中稱為代價函式或損失函式,然後使該對函式求得最小值,對應...

Tips 機器學習模型常見評估指標

1.混淆矩陣 confusion matrix positive 1 negative 0 positive 1 tp 1,1 fp 1,0 negative 0 fn 0,1 tn 0,0 列為模型 值,行為樣本實際值。2.準確率 精確率 靈敏度 召回率 特異性 f1 score 3.roc和au...