EM演算法應用到 因子分析

2022-05-16 06:36:13 字數 2978 閱讀 3997

因子分析還沒有完全弄透

一、總結:

因子分析其實就是降維。 (詳細筆記見--斯坦福機器學習講義: 因子分析筆記) 強烈建議回看

因子分析其實就是認為高維樣本點實際上是由低維樣本 點經過高斯分布、線性變換、誤差擾動生成的,因此高維資料可以使用低維來表示。

因子分析是對應無監督學習問題,因為用到em演算法,還是有em演算法的,e步都是求出隱性變數z,而z表示可能的類別,所以凡是有em演算法的,一定是無監督學習.

什麼情況下用因子分析:

之前我們考慮的訓練資料中樣例x(i)的個數m都遠遠大於其特徵個數n,這樣不管是進 行回歸、聚類等都沒有太大的問題。

然而當訓練樣例個數 m 太小,甚至 m這時候要用因子分析。

因子分析最終目的是求出隱性變數z與樣例x的聯合分布

並且求出其所有引數:均值μ(n維),轉換矩陣λ和誤差協方差ψ。

下面幾步都是圍繞著聯合分布的產生,引數如何估計得到 而展開的。

二、問題

樣例個數x~n(μ,σ).

又上面一篇博文可知,高斯混合模型中的引數估計公式 類似 多遠高斯分布引數:

當樣例個數m小於特徵個數n,則σ為奇異矩陣=》不滿秩,特徵值為0==》σ不可逆。

估計不出σ,但仍用高斯分布估計,則假設限制協方差矩陣

三、限制協方差矩陣

我們假設特徵間獨立,則σ為對角陣(即只有主對角線有元素,其餘地方為0),高斯分布二維幾何圖對應的橢圓的兩個軸與座標軸平行。

如圖,左邊是高斯分布的三維圖,所以自上而下看,高斯分布是橢圓。右邊圖可知,橢圓兩個軸和座標軸平行了

四、因子分析怎樣將資料建模

1.假設有隱性變數z~n(0,i),均值為0。即在乙個k維的空間中按照多元高斯分布生成m個z(i)(k維向量)

2、 然後存在乙個變換矩陣λ ∈ ℝn×k,將z(i)對映到n維空間中,即 λz(i)因為z(i)的均值是0,對映後仍然是0。

3.最後的結果認為是真實的訓練樣例x(i)的生成公式:

如下圖遞進表示:從

上面的過程是從隱含隨機變數z經過變換和誤差擾動來得到觀測到的樣本點。其中z被 稱為因子,是低維的。

五、因子分析模型是:

因子分析的總式:

對上式x = u +lumda*z + 誤差, 分別求三個引數:

1)求u:

, 又已知e[z] = 0,所以

。2)求σ: (......略)

3)最終聯合分布:(最重要!!)

(總式)因子分析最終目的就是為了求出聯合分布的所有引數:均值μ(n維),轉換矩陣λ和誤差協方差ψ。

六、em引數估計:

對上面4)式進行em演算法迭代:

需估計引數:z是隱含變數,μ,λ,ψ是待估引數。

回顧em步驟:

(1)e步對z進行推導,

。。。(省略)

(2)m步對μ,λ,ψ求導。

(具體推導過程見講義。)

最終是對所有引數進行估計了。

根據上面的em的過程,要對樣本x進行因子分析,只需知道要分解的因子數(z的維 度)即可。通過em,我們能夠得到轉換矩陣λ和誤差協方差ψ。

因子分析實際上是降維,在得到各個引數後,可以求得z。但是z的各個引數含義需要自己去琢磨(還沒琢磨出)

七、因子分析應用例子:

例如,在企業形象或品牌形象的研究中,消費者可以通過乙個有24個指標構成的評價 體系,評價百貨商場的24個方面的優劣。 但消費者主要關心的是三個方面,即商店的環境、商店的服務和商品的**。因子分析 找出反映商店環境、

方法可以通過24個變數, 商店服務水平和商品**的三個潛在的因子, 對商店進行綜合評價。而這三個公共因子可以表示為:

匯出iPhone應用到iTunes

重新安裝了itunes,沒備份,發現itunes裡的應用都沒了,再同步ipad和iphone的時候,提示我要清空ipad和iphone裡的資料,嚇得我趕緊取消了。於是上網找了一下如何將ipad和iphone的應用同步回電腦的方法。最終找到了,方法非常簡單,在itunes中連線ipad和iphone後...

SAP 應用到的Tcode

se38 abap編輯器 se75 建立長文物件以及呼叫建立的物件 se11 自定義表並維護 se16n 對資料表進行編輯與檢視 se80 物件瀏覽器 se91 建立訊息類 se93 建立事務碼 se37 維護function module se09 傳輸組織器 se41 選單製作器 qaer 上傳...

部署Angular應用到Github pages

published august 08,2017 by jeneser categories angular 1 tags angular 2 course 2 original 4 你將看到 快速部署angular應用到github pages,利用github提供的pages資源快速建立演示站點...