人臉對齊(九) SDM演算法

2021-08-11 12:09:57 字數 2637 閱讀 2110

**:

略刪改。

sdm(supervised descent method)是一種監督下降方法,屬於解決非線性最小化nls(non-linear least squares)問題的一種方法。

解決非線性最優化問題通常有2個難點,

(1)方程不可微,或者計算量太大

(2)hessian矩陣太大,或者不是正定矩陣

基於這樣的難點,作者提出了自己的sdm方法,可以用於解決上述的問題,並成功的用次方法解決了人臉對齊中關鍵點的回歸問題,取得了state-of-the-art的效果。

ps:還是很喜歡這個圖中的牛頓,高斯和拉格朗日。

sdm推導:

sdm的過程就是最小化上面函式的過程,其中,

d為m*1維,表示有m個畫素,

d(x)為p*1維,表示p個landmarks,

h為非線性的特徵提取函式,提取的sift特徵h(d(x))為128p維

將上式子進行泰勒展開變為了下面的式子,

第一次初始化det(x1)按下式計算,

初始化時,第一次對於det(fai)的計算,可以看成det(fai)到r0的投影,因此,也可以近似的將r0看成是梯度方向。

由於將r0近似為梯度方向,所以det由上面的非線性問題轉化為下面式子的線性問題,

整個的訓練過程就是求乙個最佳的r0和b0的過程,來保證det最小。最終也就將遞推公式由下面的第乙個式子轉化為下面的第二個式子,也就不需要hession矩陣和jacobian矩陣的計算了。實現了由2次問題到1次問題的轉化,但是2次問題肯定會收斂,1次的則很難保證,因此,作者引入了fai(k)這個一系列的特徵向量,而不是上式一樣,只有乙個fai(0),從而來保證收斂,實驗過程中,迭代4-5次後就會收斂。

訓練過程中,採用l2-loss,如下式子,

假設x服從正態分佈,採用蒙特卡洛(monte carlo)方法取樣,轉化為求下式的最小值,

採用多個特徵向量後就轉化為下式,

實驗效果:

在人臉對齊中,乙個很重要的效能指標就是姿態估計,包括,yaw(左右旋轉),roll(平面內旋轉),pitch(上下旋轉)

按作者**中在youtube上面的測試,姿態估計可以實現,yaw(-45到+45),roll(-90到+90),pitch(-30到+30),在i5-2400上達到了30fps的速度。

github上熱心網友的程式:

reference:

[2]www.humansensing.cs.cmu.edu/intraface

sdm 人臉對齊的核心內容很簡單,就是特徵到偏移量的對映:

ix = r

i 是特徵,x是對映矩陣,r是偏移量。sdm人臉對齊方法訓練的目的就是得到對映矩陣x,步驟如下:

1)歸一化樣本,使樣本的尺度統一;

2)計算均值人臉;

3)將均值人臉,作為估計人臉放在樣本上,使均值中心和原始人臉形狀中心對齊;

4)計算基於每乙個均值人臉的標記點的特徵,sift,surf或者hog,切記不要基於灰度值的相互特徵;

5)將所有點的特徵串在一起,形成樣本特徵,所有樣本特徵形成矩陣i;

6)計算估計人臉和真實人臉之間的偏移量,並形成矩陣r;

7)解線性方程ix=r, matlab中可用x = i \ r,lapack中可用函式dgelsd。

估計形狀加上**偏移量就是結果,在實際情況中,共需要訓練多層,二層以後需要使用上一層對齊的結果作為估計形狀。

實際在運用過程中可能會遇到各種問題,總結下來有以下幾點:

1)速度太慢,尤其是使用sift,surf特徵;

2)無效,基於灰度值類的特徵由於在標記點周圍的小視窗內,灰度值基本一致,變化不大,這也是人臉的乙個顯著特徵;

3)效果有待提高,hog特徵有效的解決上述問題,但是始終不理想,尤其是,水平大角度偏轉。

對齊效果見下面的。訓練資料是手工標記的4000張,經過隨機仿射變換擴充套件至60000(此方法提公升效果有限)。一張人臉的對齊速度在3.5ghz cpu上單核是1.8ms,可多核提速,模型大小2.4m左右,並成功運用到人臉標記點追蹤上,追蹤可以解決大角度偏轉,大部分90度偏轉也是有效的

SDM人臉對齊演算法研究

人臉對齊的演算法是我本科階段的畢業設計課題,從最初的一臉迷茫到最後完成畢設,兩個月的時光,恭喜自己順利完成了畢業設計,在過程中,更是不能缺少指導老師以及學長們給予的幫助。衷心感謝!人臉對齊的目的是對人臉進行歸一化,工作核心是定位面部關鍵點。本部落格中討論的sdm是一種人臉對齊的優化演算法。利用sif...

人臉識別之人臉對齊(八) LBF演算法

整體來看,其實 esr是基礎版本的形狀回歸,ert將回歸樹修改為gbdt,由原始的直接回歸形狀,改進為回歸形狀殘差,而lbf,是加速特徵提取,由原來的畫素差分特徵池,改為隨機選擇點。基於lbf方法的人臉對齊,出自face alignment at3000 fps via regressing loc...

人臉對齊介紹

1 五官定位 2 表情識別 3 人臉漫畫 素描生成 4 增強現實 5 換臉 6 3d建模 給定人臉區域 i,從該區域出發,根據一定的規則 f,找到特徵點位置 x。即 x f i 所以,人臉對齊演算法便是設計函式 規則 f,f的優劣變體現在擬合效果 執行效率 引數儲存空間 泛化能力 即適應資料集以外的...