推廣性的界

2021-08-25 21:02:46 字數 633 閱讀 5285

統計學習理論中關於經驗風險與實際風險之間的重要結論,稱之為推廣性的界。顯然,在觀測資料的先驗概率和類條件概率都無法準確獲得的情況下,推廣性的界對於學習機器的效能有著至關重要的影響。

研究人員通過對大量的資料分析發現在經驗風險最小化原則下的學習機器的期望風險實際上由兩部分組成的,可以簡單的表示為如下的形式:

上式中的第一部分是經驗風險,第二部分我們稱之為置信範圍(或vc置信度)。置信界限是期望風險與經驗風險差值的上界,它反映了模型複雜性與樣本複雜性對泛化能力的影響。

進一步分析我們發現,當n/h較小時,置信範圍就較大,用經驗風險近似真實風險就有較大的誤差,用經驗風險最小化取得的最優解可能具有較差的推廣性;如果樣本數目較多,n/h較大,則置信範圍就會很小,經驗風險最凶啊花的最優解就接近真實的最優解。

另一方面,對於乙個特定的問題,其樣本數n是固定的,此時學習機器的vc維(即複雜性越高)越高,置信範圍越大,導致真實風險與期望風險之間可能的差就越大,因此,在設計分類器時,我們不但要使經驗風險最小化,還要使得vc維盡量小,從而縮小置信範圍,使得期望風險最小。這也是為什麼一般情況下選用過於複雜的分類器或神經網路往往得不到好的效果的原因。神經網路等方法之所以會出現過學習的情況,就是因為在有限樣本情況下,如果網路或演算法的設計不合理,就會導致雖然經驗風險較小,但置信範圍會很大,導致推廣能力下降。

推廣性的界

統計學習理論中關於經驗風險與實際風險之間的重要結論,稱之為推廣性的界。顯然,在觀測資料的先驗概率和類條件概率都無法準確獲得的情況下,推廣性的界對於學習機器的效能有著至關重要的影響。研究人員通過對大量的資料分析發現在經驗風險最小化原則下的學習機器的期望風險實際上由兩部分組成的,可以簡單的表示為如下的形...

論壇推廣是網路推廣的推廣手段之一

這個經驗是我很早以前就總結的,寫給公司新人看的。為了新人能夠快速理解,因此文章內容比較基礎。但是個人覺得還是有一些看點 一 在論壇推廣增加外鏈的3個手段。3 通過設定論壇個性簽名留下外鏈。用的,這樣的情況超連結也就沒意義了。二 論壇推廣常見問題 2 可以發貼回貼留超連結 比如tom社群,qq論壇 3...

層次推廣 SEO推廣的黃金戰略

k站風波後,又推行了綠蘿演算法等一系列新演算法,打擊外鏈,315一到,更是很多站長都驚心肉跳。這麼多的大動作,旨在於敦促站長們加強 質量建設,打擊投機推廣。於是現在,對於seoer來說,推廣恐怕是最發愁的乙個問題了。但是對於 發展來說,推廣又是必不可少的重要部分。推廣是使用者招募的最前端,是使用者和...