奧卡姆剃刀定律（occam』s razor, ockham』s razor）又稱「奧康的剃刀」，它是由14世紀英格蘭的邏輯學家、聖方濟各會修士奧卡姆的威廉（william of occam，約2023年至2023年）提出。這個原理稱為「如無必要，勿增實體」，即「簡單有效原理」。正如他在《箴言書註》2卷15題說「切勿浪費較多東西去做，用較少的東西，同樣可以做好的事情。」
奧卡姆剃刀定律也是機器學習選擇演算法時可參照的標準之一。其含義是：在其他條件一樣的情況下，選擇簡單的那個。
該定律的意義在於資料的擬合和低複雜性之間實際上存在著折中性。
但是在現實生活中，有關未知資料的泛化誤差，往往如圖2所示。
泛化資料誤差實際是訓練資料誤差與另乙個名為過擬合誤差的函式之和。
在泛化誤差最小得情況下，可獲得最佳複雜性。用於計算過擬合誤差得方法統稱為貝葉斯方差方法。在現實生活中，通常只會獲得訓練資料誤差。但實踐表明，如果你不去選擇能夠使訓練資料誤差最小化的模型，而是選擇複雜性低一點的模型，演算法的表現往往會更好。過擬合是機器學習演算法效能不佳得主要緣由。這也是在機器學習中應用奧卡姆剃刀定律的原因。
機器學習 「奧卡姆剃刀」原理
百科 切勿浪費較多東西去做，用較少的東西，同樣可以做好的事情。簡 單 性 原 則 1 在機器學習中選擇演算法時，其含義是 在其他條件一樣的情況下，選擇簡單的那個。2 李航 統計學方法 一書中，在應用於模型選擇時可以理解為 在所有可能選擇的模型中，能夠很好地解釋已知資料並且十分簡單才是最好的模型，也就...
奧卡姆剃刀
奧卡姆剃刀是乙個哲學原理，是由經院哲學家奧卡姆提出的。這個原理十分簡單 如無必要，勿增實體 這不是科學原理，因為這個說法是無法證明的。和數學一樣，在一次又一次對自身的驗證中，你只需相信它。這個原理被現代科學廣泛的使用，在這樣乙個背景下，更詳細的說法是 給定一觀察資料和若干種描述觀察資料的理論，優先選...
奧卡姆剃刀
奧卡姆剃刀 occam s razor,ockham srazor 是由14世紀邏輯學家 聖方濟各會修士奧卡姆的威廉 william ofoccam 提出的乙個原理。奧卡姆 ockham 在英格蘭的薩里郡，那是他出生的地方。這個原理稱為 如無必要，勿增實體 entities shouldnot be...