機器學習 預處理正則

2021-10-04 19:07:42 字數 536 閱讀 3966

sklearn中的pipeline可以將原始的資料生成相應的多項式特徵,將多項式特徵進行特徵歸一化處理,然後對資料進行線性回歸。

poly_reg = pipeline([('poly', polynomialfeatures(degree=2)),('std_scale', standardscaler()),('lin_reg', linearregression())])
引數傳入乙個列表,列表中的每個元素可以看稱謂管道中的乙個步驟,每乙個元素是乙個陣列,元祖的第乙個元素是名字,第二個是例項化。

模型正則化的目的在於降低模型的複雜性,減少過擬合。

l1正則化就是lasso回歸的全稱是:least absolute shrinkage andselection operatorregression.就是將對結果影響比較小的引數進行刪除操作,只留下一些比較重要的特徵。

機器學習 資料預處理

均值為0,標準差為1 from sklearn import preprocessing scaler preprocessing.standardscaler scaler.fit transform x 對原始資料進行線性變換,變換到 0,1 區間 也可以是其他固定最小最大值的區間 from s...

機器學習 資料預處理

1 連續資料特徵離散化的方法 由於lr 中模型表達能力有限,可以通過特徵離散化來提高非線性學習能力。主要方法 1 等距離散 取值範圍均勻劃分成n 等分,每份的間距相等。2 等頻離散 均勻分為n 等分,每份內包含的觀察點數相同 3 優化離散 3 1 卡方檢驗方法 統計樣本的實際觀測值與理論判斷值之間的...

機器學習 特徵預處理

通過一些轉換函式將特徵資料轉換成更加適合演算法模型的特徵資料的過程。特徵的單位或者大小相差較大,或者某特徵的方差相比其他的特徵要大出幾個數量級,容易影響 支配 目標結果,使得一些演算法無法學習到其它的特徵。對資料進行標準化或者歸一化可解決此類現象 資料標準化 是消除變數間的量綱關係,從而使資料具有可...