DAN 人臉關鍵點

2021-08-07 18:08:57 字數 1449 閱讀 8568

原始碼(theano實現):

首先,可以明顯看出是乙個迭代處理的框架。 關鍵點檢測流程如下:

(1)初始

輸入灰度圖 \(i\) 以及 標準關鍵點模板 \(s_0\),**得到新的關鍵點位置 \(s_1\)。

其中「feed forward nn」結構如下,輸出136用於**68個關鍵點:

新的關鍵點位置會送入「connection layers」,該網路示意圖如下:

首先計算乙個 \(s_1\) 到 \(s_0\) 的相似變化矩陣 \(t_1\)。注意,這裡不採用仿射變換矩陣,是為了防止區域性畸變。 通過 \(t_1\) 我們可以對影象進行矯正得到 \(t_(i)\), 同時對關鍵點進行變換得到關鍵點熱點圖 \(h_\)。 特徵圖 \(f_\) 是通過拿取「feed forward nn」的f1特徵進一步得到的。

其中關鍵點熱點圖通過下式計算得到:(其實就是乙個中心衰減,關鍵點處值最大,越遠則值越小)

其中特徵圖如下計算的: 輸出特徵為1x3136,reshape為 56x56, 然後上取樣到 112x112,和輸入影象一樣大。 (之所以一開始不搞成112x112,是因為實驗發現提公升不大但計算量會增加比較多。)

(2)初始迭代

每次迭代輸入 \(t_n(i)\), \(h_n\) 和 \(f_n\) ,它們的維度均為 \(112 \times112\)。 然後計算新的 \(s_\)。

需要注意的是,由於影象進行了相似變換,因此為了和最初的輸入影象相匹配,需要做如下矯正:

\(s_ = t_^(t_(s_)+\delta s_)\)

效果圖

menpo challenge,沒有人臉檢測時(直接假定框位於影象中心)的效果:

人臉關鍵點 PFLD人臉關鍵點檢測解讀

參考 應用場景 人臉特效,疲勞檢測,美妝,非官方code 圖1 模型結構圖 圖2 人臉關鍵點 圖3 輔助分支 pfld的模型訓練策略 一開始我們設計的那個簡單的網路,採用的損失函式為mse,所以為了平衡各種情況的訓練資料,我們只能通過增加極端情況下的訓練資料 平衡各類情況下的訓練資料的比例 控制資料...

自動提取人臉關鍵特徵點

分享一下我老師大神的人工智慧教程!零基礎,通俗易懂!自動提取人臉關鍵特徵點 近年來,人臉識別的研究成為模式識別和人工智慧領域的乙個研究熱點。人臉識別過程受到很多因素的干擾,準確地提取人臉的合適特徵是進行正確識別的關鍵,在人臉識別的各類方法中,對基本特徵如眼睛 鼻子和嘴巴等的定位都是必不可少的步驟。我...

自動提取人臉關鍵特徵點

分享一下我老師大神的人工智慧教程!零基礎,通俗易懂!自動提取人臉關鍵特徵點 近年來,人臉識別的研究成為模式識別和人工智慧領域的乙個研究熱點。人臉識別過程受到很多因素的干擾,準確地提取人臉的合適特徵是進行正確識別的關鍵,在人臉識別的各類方法中,對基本特徵如眼睛 鼻子和嘴巴等的定位都是必不可少的步驟。我...