資料分析面試必備知識 假設檢驗

2021-10-04 11:24:01 字數 2212 閱讀 4294

3 顯著水平

4 與置信區間的關係

講概率、論統計,肯定要從拋硬幣說起啊,這才是正確開啟姿勢嘛。

你說你的硬幣是公平的,也就是」花」和」字」出現的概率是差不多的。

然後,你想和我打賭,作為乙個資深的理智賭徒,我怎能聽信你的一面之詞,我提出要檢查下你的

硬幣到底是不是公平的,萬一是兩面「花」怎麼辦?電影裡面不是經常出現這樣的橋段?

你神色緊張,死活不讓我檢查,後來我們提出了折衷的方案,拋幾次硬幣,看看結果是不是公平的。

總共扔了十次,也都是"花」 朝上,那我就認為很可能你這枚硬幣不是公平的。

這就是假設檢驗:

為為完成假設檢驗,需要先定義乙個概念: p值。 我們這裡就來解釋什麼是p值?

根據上面的描述,這裡假設檢驗的思路就是: .

在我們認為硬幣是公平的前提下,扔10次硬幣應該符合以下分布:

下圖表示的就是,假如硬幣是公平的情況下的分布圖:

我扔了十次之後得到的結果是,有八次正面:

這個時候有個數學大佬出來定義了乙個稱為p值(p-value)的概念:

把八次正面的概率,與更極端的九次正面、十次正面的概率加起來:

其實,出現兩次正面、一次正面、零次正面的概率也是很極端的:

所以(雙側p值):

根據扔硬幣這個例子,可能你會覺得,我知道八次正面出現不正常就行了,幹嘛要把九次、十次加起來?

我覺得有這麼乙個現實原因,比如我要扔1000次硬幣來測試假設是否正確。

扔1000次硬幣用二項份布來計算很麻煩,根據中心極限定理,我們知道,可以用正態分佈來近似:

比如,我扔了1000次,得到了530次正面,髒態分布來計算就比較簡單。

但是,對於正態分佈,我沒有辦法算單點的概率(連續分布單點概率為0),我只能取一 個區間來算極限,所以就取530、以及更極端的點組成的區間: .

我上面只取了單側p值,說明下:

總共扔10次硬幣,那麼是出現7次正面之後,可以認為」硬幣是不公平的」,還是9次正面之後我才能確認」硬幣是不公平的」,這是乙個較為主觀的標準。

我們一般認為:

就可以認為假設是不正確的。

0.05這個標準就是顯著水平,當然選擇多少作為顯著水平也是主觀的。

比如,上面的扔硬幣的例子,如果取單側p值,那麼根據我們的計算,如果扔10次出現9次正面:

表示出來如下圖所示:

我們可以認為剛開始的假設錯的很「顯著」,也就是「硬幣是不公平的」。

如果扔10次出現出現8次正面:

呃,這個和我們的顯著水平是一樣的啊,我們也可以拒絕假設,只是沒有那麼「顯著」了。

知識要聯絡起來看,理解更深刻。

置信區間,目的是根據樣本構造乙個區間, 然後希望這個區間可以把真值包含進去,但是並不知道這個真值是多少?具體可以參考:

而假設檢驗,則是假設真值是多少,然後檢驗這個假設是否可能為真。

之所以覺得它們有關係,大概是因為它們都提到了0.05。

它們之間的關係也簡單,如果我們提出來的假設μ0在樣本滅的置信區間內,就可以通過測試: .

反之,就不能通過:

python資料分析 假設檢驗

一 假設概念 假設總體均值為 那麼實際抽樣的均值離 越近意味著假設越合理,相反,實際抽樣均值離 越遠意味著假設越不合理。其中,實際抽樣結果與假設的差異 程度 可以用概率值表示,概率值越大意味著越無差異。在實際中往往認為設定乙個p value的閾值將差異程度判斷為有差異或者無差異,這就是顯著性水平。二...

資料分析必備的統計學(二) 假設檢驗

講完概率分布,再來講講統計學的最後乙個知識點 假設檢驗。假設檢驗是數理統計學中根據一定假設條件由樣本推斷總體的一種方法。事先對總體引數或分布形式作出某種假設,然後利用樣本資訊來判斷原假設是否成立,採用邏輯上的反證法,依據統計上的小概率原理。為了更好的解釋,這裡舉個例子。假設我有一袋豆子,袋子裡有紅豆...

(補基礎)資料分析系列 假設檢驗的基礎知識

junliang 資料科學家聯盟 目錄 0x03 一類錯誤和二類錯誤 0x04 假設檢驗的步驟 0x0ff 總結 我們經常會遇到這樣的問題 假設檢驗的基本思想是 小概率事件 原理,其統計推斷方法是帶有某種概率性質的反證法。小概率思想是指小概率事件在一次試驗中基本上不會發生。反證法思想是先提出檢驗假設...