二項檢驗,假設檢驗

2021-10-24 11:12:08 字數 1782 閱讀 6387

目錄

什麼是「假設檢驗」?

什麼是「二項檢驗」?

怎麼計算假設的置信度?

《機器學習(周志華)》2.4.1節「二項檢驗」的具體分析

在學習《機器學習(周志華)》第2章 2.4.1節時遇到乙個術語「二項檢驗(binomial test)」,不是特別理解,於是查閱了一下資料,了解了一下,有的部落格解釋的很繁雜,我認為沒有那麼複雜,我認為「二項檢驗」就是乙個「假設檢驗」的問題,理解了假設檢驗的概念及執行機制就都了解了。以下是我的理解,如有不對還望校正。

前提:1)我們知道乙個分布的具體形式,但不知道分布的具體引數。例子(1)我們知道這個分布是乙個二項分布,但是我們不知道這個二項分布的具體引數(二項分布只有乙個引數,就是正樣本的概率p)。例子(2)我們知道乙個分布是高斯分布,但是我們不知道這個高斯分布的引數(均值或方差)。

2)我們有一組服從這個分布的樣本

「假設」:我們這個分布的引數的取值範圍做了乙個假設,比如這個引數大於/小於某個值,或這個引數偏離某個數值的距離小於某個閾值等。這個取值範圍是需要人工指定的。

「檢驗」:根據手裡的樣本資料,計算假設的條件成立的置信度(即可信任程度)。

備註:「假設」與「檢驗」中我們總共涉及兩個數值:在「假設」的條件中的「閾值」(或稱取值範圍),在「檢驗」中的「置信度」。這兩個數值可以互相推斷,在實際中必須人工指定其中乙個,然後推斷另外乙個,然後將推斷值與設定的標準值進行比較,從而判斷假設是否成立。即,這兩個數值都需要人工設定,其中乙個出現在「假設」的條件裡,另外乙個出現在「檢驗」的標準裡。「假設檢驗」的最終輸出是乙個結論:在這個設定的檢驗標準下,這個假設的條件是否成立,是乙個bool變數。

假設的條件與檢驗的標準在實際應用中是可以互換的。(1)可以指定假設的條件,推斷這個具體假設成立的置信度,然後與設定的置信度比較,低於設定的置信度就認為不可信,反之認為可信。 (2)可以先指定置信度,推斷滿足這個置信度的最寬鬆的條件,如果假設的條件滿足這個最寬鬆的條件(或換句話說,假設的條件比這個最寬鬆的條件還要嚴格),那麼說明假設的條件比這個推斷出的最寬鬆的條件的置信度還要高,所以假設成立,反之假設不成立。

「二項檢驗」是「假設檢驗」中的一種情況:我們知道乙個分布服從二項分布,但是不知道這個分布的引數p(正樣本出現的概率)。我們手裡有一批服從這個分布的樣本,我們可以根據這批樣本對這個引數的取值範圍做乙個假設,並設定乙個置信度閾值,如果這個假設的可信度超過這個置信度閾值,我們就認為這個假設成立,否則認為不成立。

根據手裡的樣本資料,我們可以對這個引數計算出乙個「估計值」。根據這個估計值,我們可以得到這個二項分布的估計分布,很明顯,這個分布是乙個關於這個引數的函式,可以在"xoy"座標系上,x軸表示引數的取值,y軸表示分布函式的分布概率密度。假設的條件的置信度就是:在假設中設定的引數的取值範圍的約束下,分布曲線下的積分面積。

這裡二項分布的未知引數是模型的真實泛化誤差

做出的假設是

檢驗的標準是:假設的置信度

書中的假設檢驗的思路是:根據檢驗標準(即置信度閾值),推斷引數可信任的候選區間,如果設定的條件在可信任的候選區間內,則認為條件成立,否則不成立。

參考:《機器學習(周志華)》2.4.1節

《概率論與數理統計(第四版,盛驟 等編)》第8.1節

二 假設檢驗

h,sig,ci ztest x,m,sigma,alpha,tail 給定資料x 預設均值m 方差sigma 置信度1 alpha tail 0表示需要檢驗的假設為 x的均值等於m tail 1表示需要檢驗的假設為 x的均值大於m tail 1表示需要檢驗的假設為 x的均值小於m 用於z 檢驗檢驗...

假設檢驗 假設檢驗學習筆記

在實際工作和研究中,往往只能獲得資料的一部分,通常指這個資料為樣本,而通過樣本對整體的估計被稱為假設檢驗。樣本是從整體中選取的較小集合,中心極限定律 樣本的均值約等於總體的均值 不管整體什麼分布,任意乙個總體的樣本均值都會圍繞在總體的均值周圍,且呈正太分布。關鍵資訊 樣本的均值等於總體的均值 樣本的...

通俗向 假設檢驗(二) 檢驗

還是看乙個栗子 小明想了想在企業裡上班沒啥意思,還是出來報效祖國當兵吧,於是告別了心愛的小花,去了某陸軍學校準備深造。但是看到當兵要求,發現非常嚴格的指明體重只要90kg以下,上下不能超過2kg,小明看了看自己的體重,95kg感覺沒戲了,但是天無絕人之路,對於當兵的體重只是抽查,因為也實在沒有那麼多...