稀疏的好處

2021-06-29 15:02:03 字數 591 閱讀 3483

讓我們的引數稀疏有什麼好處呢?這裡扯兩點:

大家對稀疏規則化趨之若鶩的乙個關鍵原因在於它能實現特徵的自動選擇。

一般來說,xi的大部分元素(也就是特徵)都是和最終的輸出yi沒有關係或者不提供任何資訊的,在最小化目標函式的時候考慮xi這些額外的特徵,雖然可以獲得更小的訓練誤差,但在**新的樣本時,這些沒用的資訊反而會被考慮,從而干擾了對正確yi的**。

稀疏規則化運算元的引入就是為了完成特徵自動選擇的光榮使命,它會學習地去掉這些沒有資訊的特徵,也就是把這些特徵對應的權重置為0。

另乙個青睞於稀疏的理由是,模型更容易解釋。

例如患某種病的概率是y,然後我們收集到的資料x是1000維的,也就是我們需要尋找這1000種因素到底是怎麼影響患上這種病的概率的。假設我們這個是個回歸模型:y=w1*x1+w2*x2+…+w1000*x1000+b(當然了,為了讓y限定在[0,1]的範圍,一般還得加個logistic函式)。通過學習,如果最後學習到的w*就只有很少的非零元素,例如只有5個非零的wi,那麼我們就有理由相信,這些對應的特徵在患病分析上面提供的資訊是巨大的,決策性的。也就是說,患不患這種病只和這5個因素有關,那醫生就好分析多了。但如果1000個wi都非0,醫生面對這1000種因素,累覺不愛。

的好處 考研有哪些好處?

在猶豫考研的時候,會非常的糾結,主要是利益的均衡,你到底有沒有了解過考研的這五大好處。選擇考研的時候你會有這些好處,或許你選擇考研是乙個不錯的選擇。第一大好處學歷的提高,敲門磚更加硬氣了 考研之後,無論是你選擇是工作還是公 還是選擇繼續深造,考研之後平台會更加的提高,隨意你的選擇會更加的寬闊。而且許...

的好處 練習孕婦瑜伽的好處

練習孕婦瑜伽的好處 1 瑜伽對準媽咪身體的好處 孕媽通過瑜伽的拉伸和練習,可以循序漸進地增加肌肉的韌性 靈活度和耐力,不會給關節造成壓力,特別是隨著肚子的增大和身體重心的轉移,孕婦瑜伽體位能夠幫你保持平衡,塑造良好的體態。同時,孕婦瑜伽能有效改善血液迴圈,減輕水滯留,增強骨盆肌肉,常見的孕晚期的下背...

的好處 常吃核桃的好處

核桃怎麼吃能提高記憶力生吃核桃生食營養損失最少,在收穫季節不經乾燥取得的鮮核桃仁更是美味。有的人喜歡將核桃仁表面的褐色薄皮剝掉,這樣會損失掉一部分營養,所以不要剝掉這層皮,直接吃就好。買核桃怎麼挑好的大小 核桃品種不同,味道大小也不盡相同,但味道與核桃大小沒直接關聯。如果是同一品種核桃,則可以挑選個...