奧卡姆剃刀是乙個哲學原理，是由經院哲學家奧卡姆提出的。這個原理十分簡單：「如無必要，勿增實體」。這不是科學原理，因為這個說法是無法證明的。和數學一樣，在一次又一次對自身的驗證中，你只需相信它。這個原理被現代科學廣泛的使用，在這樣乙個背景下，更詳細的說法是：「給定一觀察資料和若干種描述觀察資料的理論，優先選擇最簡單的理論」。
我舉個簡單的例子：給定乙個觀察資料，乙個0，1組成的串：0101010x，其中x是一變數，代表0或者1。在沒有任何其他資料的情況下，給出x的取值。直覺上，x應該為1，因為這樣的話符合了某種優美性，即01重複4次。但是這還不足以構成乙個正當的理由。現在我來給出乙個理由。首先，可以提出2種理論，用正規表示式來表示的話分別是：
1，x為1的情況，(01)* ；
2，x為0的情況，0(10)*0 或者 (01)*0+ 。
那麼，x取值的問題也就轉化為了理論選擇的問題。根據奧卡姆剃刀原理，應該選擇理論1。但是為什麼呢？為什麼1就比2的兩種理論簡單呢？僅僅是看起來嗎？我們可以試著使用概率來解答這個疑問。假想有乙個分布在所有可能的正規表示式上的概率空間，分別賦予這些正規表示式一定的概率。那麼顯然理論2的兩種假設的概率要比理論1的假設的概率小（假設(01)*的概率為a, 0的概率為b, 0+的概率為c，p(0(10)*0)=a*b*b < p((01)*)=a; p((01)*0+)=a*c < p((01)*)=a），這樣來看的話，我們根據奧卡姆剃刀原理的選擇就是合理的。也許你會質疑我們所假設的概率分布的正當性，但是即便這個分布不是理想的，也可以是經驗累積的，而且它也是合理的（在所有用到正規表示式的地方，沒有理由懷疑(01)*出現的次數比(01)*複雜的多的表示式更少）。
接下來我想說一說觀察資料。哥白尼的日心說是不符合當時人們的經驗的，太陽每天從東邊公升起再從西邊落下，如果我們只有這個觀察資料的話，日心說簡直就是荒謬至極了。即便根據奧卡姆剃刀，地心說也是合理的，因為比較起日心說，它更簡單。如果我們有更多的觀察資料，比如恆星的位置，行星的轉動，那麼地心說就很麻煩了，要用地心說解釋這些現象需要乙個很複雜的體系，這就是托勒密體系。托勒密體系使用周轉圓來解釋恆星的觀察資料。在哥白尼時代，托勒密體系需要77個圓來描述太陽，月亮以及當時所知的5顆行星的運動。如果使用哥白尼的日心說，則只需要34個圓。如果加上克卜勒的3個定律，可以得到更為簡化的理論，不過這就是題外話了。我想說的是，乙個正確的理論很大程度上有賴於這個理論所描述的資料，資料越多，越精確，理論的形成就越容易趨向於正確。
但是現在ir領域的研究就缺乏這樣的資料，雖然有trec這樣的資料集，但是這個資料集更多的是乙個「心理期望」，對於每乙個「個人」而言，其作用幾乎為零。基於眾多理論的眾多的**都使用trec或等價的資料集，做著啟發式的修改來提高它們在資料集上的成績。很難說這是真正的提高還是更多的是在擬合資料集本身，即便是考慮了人的心理建構查詢詞過程的語言模型也僅僅是在理論上做出了創新，因為他們仍然使用trec，語言被看成了修剪的整整齊齊的草坪，被無情的trec割草機修剪的符合它的期望。
奧卡姆剃刀
奧卡姆剃刀 occam s razor,ockham srazor 是由14世紀邏輯學家 聖方濟各會修士奧卡姆的威廉 william ofoccam 提出的乙個原理。奧卡姆 ockham 在英格蘭的薩里郡，那是他出生的地方。這個原理稱為 如無必要，勿增實體 entities shouldnot be...
11 奧卡姆剃刀
奧卡姆剃刀，概括起來就是 如無必要，勿增實體 人們常有這樣的感覺，整天忙忙碌碌，什麼事情都還沒幹好，時間卻總在不知不覺間流走了。要簡化我們的生活，就意味著對那些令我們花費金錢 時間 精力的事情加以區分，然後採取步驟去擺脫它們。下面是一些關於如何擺脫生活中的混亂而獲得樂趣的建議 1.開始新的一天前，盡...
奧卡姆剃刀定律
如果你認為只有焦頭爛額 忙忙碌碌地工作才可能取得成功，那麼，你錯了。事情總是朝著複雜的方向發展，複雜會造成浪費，而效能則來自於單純。在你做過的事情中可能絕大部分是毫無意義的，真正有效的活動只是其中的一小部分，而它們通常隱含於繁雜的事物中。找到關鍵的部分，去掉多餘的活動，成功並不那麼複雜。奧卡姆剃刀 ...