機器學習 4

十三 svm—線性可分svm原理

十四　svm—直觀理解拉格朗日乘子法

十五 svm對偶學習

十六　線性svm、間隔由硬到軟

十七 非線性svm和核函式

十八 svr－一種寬容的回歸模型

十九　直觀認識svm和svr

二十 hmm－定義和假設

二十一　hmm－三個基本問題

概率計算問題

**問題

學習問題

二十二　hmm－三個基本問題的計算

直接計算

前向-後向演算法

**演算法

二十三　crf-概率無向圖模型到線性鏈條件隨機場

概率無向圖模型（probabilistic undirected graphical model）是乙個可以用無向圖表示的聯合概率分布。

它的整體結構是一張圖（graph），圖中每乙個節點表示乙個或者一組變數，節點之間的邊表示這兩個/組變數之間的依賴關係。

概率無向圖模型還有乙個名字——馬爾可夫隨機場。

勢函式和團

關於馬爾可夫隨機場，有幾個非常重要的概念。

勢函式（potential function，又稱為因子 factor）：是定義在變數子集上的非負實函式，用於定義概率分布函式。

團（clique）：圖中節點的子集，其中任意兩個節點之間都有邊連線。

極大團：乙個團，其中加入任何乙個其他的節點都不能再形成團。

馬爾可夫隨機場中，多個變數之間的聯合概率分布可以基於團分解為多個勢函式的乘積，每個勢函式僅與乙個團相關。

條件隨機場（conditional random field，crf）

無向圖模型

crf 也是一種無向圖模型。

它和馬爾可夫隨機場的不同點在於：馬爾可夫隨機場是生成式模型，直接對聯合分布進行建模；而條件隨機場是判別式模型，對條件分布進行建模。

但兩者又是相關的，crf 是「有條件的」馬爾可夫隨機場。也就是說，crf 是給定隨機變數 x 條件下，隨機變數 y 的馬爾可夫隨機場。定義這裡我們給出 crf 的定義：設 x 和 y 是隨機變數，p(y|x) 是給定 x 條件下 y 的條件概率分布。如果隨機變數 y 構成乙個由無向圖 g=表示的馬爾可夫隨機場，則稱條件概率分布 p(y|x) 為 crf。

二十四 crf—三個基本問題

概率計算問題。

**問題。

學習問題

二十五 從有監督到無監督：由knn引出kmeans

二十六 k-means—最簡單的聚類演算法

二十七 譜聚類–無需指定簇數量的聚類

聚類方法有很多，有一種演算法，不僅不需要事先指定 k 值，還可以在結果中保證每個簇中的個體數量低於某個量值，這就是基於圖切割的譜聚類（spectral clustering）。

基於圖切割的譜聚類演算法過程分為兩個大的步驟：

1.圖切割

2.譜聚類

二十九　gmm—歸類樣本

高斯混合模型

三十 gmm－－用em演算法求解ｇｍｍ

三十一　pca

主成成分分析

三十二 pca

三十三 人工智慧和神經網路

機器學習4

題外話，今天導師給我安排了乙個師兄帶我，是做推理方面的，自然語言處理領域太廣，也不知道推理具體做什麼的，哈哈，努力吧 機器學習第5章走起。如果h是無限大的怎麼辦呢？h的大小我們用m表示。small m 當m小的時候，p bad 2m.自然可以說p bad 相對較小，但是當m很小的時候，也說明h的個數...

機器學習 4

現在你進入了兩難的境地。乙個是來自使用者的小的資料集，它是一種分布，而另乙個是大得多的資料集，來自另乙個分布，的外觀和你真正想要處理的並不一樣。那麼你該怎麼做呢？這裡有一種選擇，你可以將兩種資料組合在一起，這樣你就有了21萬張，然後將這21萬張隨機分配到訓練 開發和測試集中。這麼做有一些好處，你的訓...

機器學習No 4

1.也就是資料清洗的一步，最簡單的方法是刪除法 刪除列 刪除行。2.另一種是填補法 對於數值型變數 平均值填補 中位數填補等。其他的方法 1 填補上下值 2 插值法擬合出缺失的資料進行填補 for f in features 插值法填充 train data f train data f inter...