線性特徵與非線性特徵 線性模型與非線性模型

2021-09-11 22:42:07 字數 781 閱讀 1122

這是個見仁見智的問題,也就是說,它似乎沒有乙個確定的答案,因而我們不糾結於到底把這個模型稱作「線性model」or「非線性model」,從這麼僵化的論戰裡跳脫出來,好好掰扯一下這個問題:

若我們的樣本是線性可分的,那麼我們直接使用線性model就可以解決分類問題,如lr。下圖是lr的決策邊界示意圖:

最後,我想簡單聊一下如何增強已有模型的「非線性」能力,或者如何讓自己的模型更具有分類非線性樣本的能力(以下僅僅是個人理解,歡迎拍磚!)

我們可以向lr學習,將輸出的線性結果進行一次非線性函式的轉換,將線性結果變成非線性的。例如sigmoid函式。

我們可以向svm的核函式學習,將特徵空間向高維對映,在更高的維度上尋找分隔超平面,在原始特徵維度上自然就是非線性的了。

第二條中的svm核函式,尤其是rbf核,向高維的對映方式我們不清楚,理論上是可以將特徵對映到無限維度上去。我們在處理實際問題時也可以自造高維特徵,例如組合特徵、單純使用某個特徵的二次方或高次方等等,這其實也是和核函式將原始特徵空間向更高維對映的方法幾乎是乙個意思。sklean中的一些專門用於生成組合特徵的方法,就在做類似的事情。總之,一切利用已有的特徵,進行特徵組合、one-hot編碼等方式產生新組合的方式,都可以被看做是將特徵向高維去對映的乙個方法,導致的結果就是使樣本更「線性可分」,從增加資料優良性質這個角度進行提公升分類結果。

線性與非線性

就是變數是一次的就叫做線性,否則就是非線性。不過每個具體問題都不盡相同。1.比如線性函式,就是自變數都是一次的,f x1,x2,xn a0 a1x1 a2x2 anxn 線性 與 非線性 常用於區別函式y f x 對自變數x的依賴關係。線性函式即一次函式,其影象為一條直線。其它函式則為非線性函式,其...

線性結構與非線性結構

對於資料結構,感情是 在撓頭也要學啊 我愛資料結構,資料結構使我快樂 呵 這裡一點一點開始扯 線性資料結構 定義為 1.有唯一的首元素及尾元素,2.資料元素之間是一對一關係 3.除首元素和尾元素外,每個元素都只有唯一的前段和後端 我詞真窮 樣例 線性表,堆,棧,佇列,陣列 基本指一維的 鍊錶 非線性...

線性結構與非線性結構

線性結構與非線性結構。線性結構?2.1線性結構 線性表,佇列,棧,陣列 2.1.1線性表?j a中的具體實現arraylist 順序表 優點 隨機儲存,讀取資料快 缺點 增加刪除資料慢?2.1.2鏈式表 j a中具體的實現linkedlist 鏈式表 優點 增加刪除快 缺點 新增 讀取慢?2.1.3...