資料服從多維高斯分布
對不同label的佔比附加乙個先驗概率π，則在估計y(x)=c時的後驗概率為
這個式子是bayesian定理的直接應用，其中x可以取平面上的任意點。我們如果定義x點的label就是使得y(x)=c概率最大的c。根據結果可以將平面分成不同的區域，而不同區域的邊界就是使得上式分子相等的x，即為||x-μ_c||_σc=a||x-μ_e||_σe，a是常數，這是乙個二次方程，故解出來的邊界是二次(quadratic)曲線，如下圖所示。
圖中的橢圓圍成的中心點就是μ，而乙個個橢圓就是等高線，黑色的邊界就是二次方程的解，橢圓的稀疏不同代表σ大小不同。
而當所有的σ_c都相同時，
概率估計的分子指數項中可以將x^2提出來，即後面一項，剩下前面一項為ax+a的形式，於是邊界是ax+a=bx+b的解，即為直線。從之前一幅圖的右圖中可以看到，橙色的等高圓和綠色的等高圓表示二者的σ分別有兩個相同的特徵值，於是它們兩個之間的邊界線為直線段。同時下面藍色的橢圓表示σ特徵值不同，於是和橙綠的邊界都是曲線。
這就是qda和lda命名的由來。
機器學習 初識機器學習
1.什麼是機器學習？對於機器學習到現在都還沒有統一的定義，但是，通過乙個例子和較權威的定義來理解機器學習，最後附上我個人對機器學習的理解 2.監督學習 1 監督學習基本思想 我們資料集中的每個樣本都有相應的 正確答案 即每個樣本都是真實值，再根據這些樣本作出 舉乙個房價預售的例子來說明 eg 下面圖...
機器學習 機器學習目錄
注 後期有時間的話會對每乙個演算法進行講解。1 普通線性回歸 2 廣義線性模型 3 邏輯回歸 4 線性判定分析1 決策樹基本原理與構建 2 cart演算法 3 回歸決策樹 4 分類決策樹1 貝葉斯定理與樸素貝葉斯 2 高斯貝葉斯分類器 3 多項式貝葉斯分類器 4 伯努利貝葉斯分類器 5 遞增式學習1...
機器學習一 機器學習概要
回歸 是指把實函式在樣本點附近加以近似的有監督的模式識別問題。對乙個或多個自變數和因變數之間關係進行建模，求解的一種統計方法。分類 是指對於指定的模式進行識別的有監督的模式識別問題。異常檢測 是指尋找輸入樣本ni 1i 1 n中所包含的異常資料的問題。常採用密度估計的方法 正常資料為靠近密度中心的資...