機器學習要注意的事情(二)

2021-09-27 10:55:23 字數 977 閱讀 8109

關於機器學習需要注意的內容有很多,我們也在前面的文章中給大家介紹出了兩點,講述了機器學習是由表示、評價、優化組成以及泛化及其作用是十分重要的,在這篇文章中我們會繼續為大家介紹更多有關機器學習需要了解的注意事項。

在這篇文章中我們主要給大家介紹一下機器學習需要注意的內容,那就是過擬合有多樣性。一般我們在進行機器學習工作的時候我們會常常遇到這樣乙個問題,那就是如果我們所擁有的知識和資料不足以完全確定正確的分類器,那該怎麼辦?我們做出的很多決定都不是基於現實的,只是在資料中隨機編碼。這個問題就是過擬合,這是機器學習的難題。當學習者輸出的分類器在訓練資料上能達到100%準確度,但在測試資料上卻只有一半的準確率,而實際上它在兩個資料集上的輸出結果都能達到七成的準確率,這就是我們所說的過擬合。

機器學習中的過擬合形式多種多樣,而且也不會立即變得明顯。理解過擬合的一種方法是將泛化誤差分解為偏差和方差。偏差是一種學習者傾向於不斷地學習同樣的錯誤。而方差是學習隨機事物的傾向。線性學習者有很高的偏差,因為當兩個類之間的邊界不是乙個超平面的時候,學習者就無法歸納它。決策樹不存在這個問題,因為它們可以表示任何布林函式,但另一方面,它們可能會受到高方差的影響,那就是由相同現象產生的不同訓練集的決策樹通常是非常不同的,實際上它們應該是一樣的。而交叉驗證可以幫助對抗過擬合,我們可以通過使用它來選擇決策樹的最佳大小來學習。它不是萬金油,因為如果我們用它來做太多的引數選擇,它本身就會開始過擬合。當然除了交叉驗證,還有很多方法可以對抗過度擬合。最受歡迎的是在評價函式中新增乙個正則化項。在新增新結構之前執行像卡方這樣的統計顯著性測試,以確定這個類的分布是否真的不同於這種結構。當資料非常稀缺時,這些技術尤其有用。雖然如此,我們應該對某種技術能解決所有過度擬合問題的說法表示懷疑。

在這篇文章中我們給大家詳細介紹了機器學習中過擬合形式的知識,從這篇文章中我們不難發現過擬合是有多種多樣的,而正是由於多種多樣的過擬合我們才能夠解決機器學習中的很多問題,我們要注意這些內容。

機器學習要注意的事情(四)

現如今,科技在不斷進步,給我們的生活帶來了極大的便利。如果要問現在什麼科技最能夠代表現階段,大家肯定認為是網際網路。不過現在網際網路可以說是過去時了,因為人工智慧能夠給我們帶來很多的方便,這也是現在很多科學家熱衷於研究人工智慧的原因。說到人工智慧就不得不說一說機器學習了,關於機器學習要注意很多的內容...

人生需要注意的事情

黃賭毒粘上一樣,生命注定以恥辱結束 人生最殘酷之處,就是回不去三個字 很有可能一次賭博,一次吸毒,一次出軌,一次買春,甚至一次酒駕,一次超速,一次闖紅燈,就會在一瞬間把你拖下地獄,還連帶著給你的家人造成災難 人生之中,有些東西千萬不能碰,碰了,小則傾家蕩產,大則家破人亡 有個有趣的定律,叫做苦難守恆...

iOS中需要注意的事情

開個帖子來記錄下遇到的一些ios開發中需要注意的東西。2.uiview的frame問題 有時候用到一些view的尺寸 比如求view的高度 提示功能可能會可以直接給出view.height,模擬器上是好用的,但是真機不行。所以要寫全view.frame.size.height或者view.bound...