機器學習 統計學習

機器學習：一種讓計算機利用資料而非指令來進行各種工作的方法。計算機使用輸入給他的資料，利用人類賦予的演算法，得到某種模型的過程，其結果是使用該模型，**未知資料資訊。

在統計理論下的本質：它追求的是合理的假設空間（模型在數學上的適合場合）的選取和模型的泛化能力（模型在未知資料上的表現能力）。

統計學習（statistial learning）：計算機基於資料構建概率統計模型：並運用模型對資料進行**和分析的一門科學。

統計學習的物件：資料data

統計學習方法的三要素：模型的假設空間（模型 model）模型選擇的準則（策略strategy）模型學習的演算法（演算法 algorithm）

當樣本不足時，可以使用交叉驗證，重複的使用資料。eg：s折交叉驗證 隨機的將已知資料切分為s個互不相交的大小相同的子集：然後利用s-1個子集訓練模型，利用餘下的子集測試資料；進行s次重複選擇，最後選出s次評測中平均測試誤差最小的模型。

監督學習的生成方法和判別方法：

生成方法：生成模型    由資料學習p(x,y)，然後求出條件概率分布p(y|x)作為**模型，即生成模型 p(y|x)=p(x,y)/p(x)【有標籤】

判別方法：判別模型   由資料直接學習f(x)或p(y|x) 作為**模型，給定的輸入x，應該**什麼樣的輸出y。

統計學習方法（機器學習） 1 統計學習方法概要

泛化能力 生成模型與判別模型 監督學習的三類問題 正則化是結構風險最小化策略的實現，是在經驗風險上加乙個正則化項或懲罰項。正則化項一般是模型複雜度的單調遞增函式，模型越複雜，正則化值越大。正則化的一般形式 這裡的第一項是經驗風險，第二項是正則化項。第一項經驗風險較小的模型可能比較複雜 有多個非0引數...

機器學習 統計學習方法概論

統計學習由監督學習 supervised learning 非監督學習 unsupervised learning 半監督學習 semi supervised learning 和強化學習 reinforcement learning 組成。統計學習方法包括模型的假設空間 模型的選擇準則以及模型學習...

機器學習（統計學習方法）4

生活有懶散，而我仍拖懶 day 4 監督學習方法可以分為 生成方法與判別方法，與此對應生成模型與判別模型。生成方法即由資料學習聯合概率分布 p x，y 再由概率條件分布 p y x 作為 的模型，即是生成模型 之所以命名為生成方法，是因為模型給出了輸入x產生輸出y的生成關係。典型的生成模型有 樸素貝...