輸入：訓練資料集
d ；
輸出：回歸樹 f(
x).
在訓練資料集所在的輸入空間中，遞迴地將每個區域劃分為兩個子區域並決定每個子區域上的輸出值，構建二叉決策樹：
(1) 選擇最優切分變數
j 與切分點
s，求解
minj,s
⎡⎣minc1∑
xi∈r
1(j,
s)(y
i−c1
)2+minc2
∑xi∈
r2(j
,s)(
yi−c
2)2⎤
⎦ 遍歷變數
j ，對固定的切分變數
j掃瞄切分點 s
(2) 用選定的對 (j
,s) 劃分區域並決定相應的輸出值：r1
(j,s
)=,r
2(j,
s)=
c^m=
1nm∑
xi∈r
m(j,
s)yi
,x∈r
m,m=
1,2
(3) 繼續對兩個子區域呼叫步驟(1),(2)，直至滿足停止條件。
(4) 將輸入空間分為
m 個區域 r1
,r2,
⋯,rm
，生成決策樹：f(
x)=∑
m=1m
c^mi
(x∈r
m)
MATLAB 偏最小二乘回歸演算法
設有q個因變數和p個自變數。為了研究因變數和自變數的統計關係，觀測n個樣本點，構成了自變數與因變數的資料表x 1 兩個成分盡可能多的攜帶他們各自資料表的變異資訊。2 兩個成分的相關程度達到最大。也就是說，他們能夠盡可能好地代表各自的資料表，同時自變數成分 在第乙個成分被成功提取後，分別實施x對 該m...
sklearn 最小二乘線性回歸
sklearn是機器學習中的乙個常用的python第三方模組，裡面對機器學習的許多方法進行了封裝，在進行機器學習的任務時，許多常用的演算法可在這個模組中直接呼叫。並且sklearn中還提供了許多可用於分類 回歸的優質資料集。使用好sklearn最直接的方法就是仔細閱讀官方 sklearn就像是乙個模...
線性回歸 最小二乘 diabetes
資料集 特徵 age 年齡 性別 bmi 體質指數 bp 血壓 s1,s2,s3,s4,s4,s6 六種血清的化驗資料 標籤 value 一年後疾病進展的量化指標 一 載入庫 import numpy as np import pandas as pd from sklearn import dat...