mtcnn聯合人臉檢測和對齊任務提供了5點關鍵點的能力，但是對於姿態姿態恢復等應用是遠遠不夠的，經常會出現某個點錯誤導致大幅抖動，顯然需要更密集的關鍵點. 常見的資料集都是68點和106點。
人臉關鍵點檢測主要面臨下面幾個挑戰：
區域性變化：現實場景中人臉的表情，廣告，以及遮擋情況都有較大的變化，如figure1所示
全域性變化：姿態和成像質量是影響影象中人臉的表徵的兩個主要因素，人臉全域性結構的錯誤估計將直接導致定位不准
資料不平衡：不平衡的資料使得演算法模型無法正確表示資料的特徵
模型的效能：由於手機和嵌入式裝置計算效能和記憶體資源的限制，必須要求檢測模型的size小處理速度快
在實際使用中，人臉關鍵點的問題主要有兩個：1)對「點是否遮擋」判斷是否準確；2)對大角度人臉(+-60 度以內)點位置**的準確性和穩定性。解決思路
修改 loss，增加關鍵點的空間約束項(三個姿態角)和資料均衡項；
backbone 採用 mobilenet(常規操作)；
用 auxiliary network，讓點位置**更穩定和魯棒(常規操作)
一種人臉68特徵點檢測的深度學習方法曾經詳細描述過資料集採集、清洗和增強的過程，也給出了整套的流程，但是其**雜亂無章，太過分散，使用的網路結構也比較重，不能滿足實時執行的需要, 此外基於caffe的prototxt也給後面調節網路結構帶來很大的麻煩.
級聯mobilenet-v2實現celeba人臉關鍵點檢測提供了輕量級網路同時人臉檢測和5點關鍵點的方法，除了點數不太夠，繁瑣的訓練流程也是制約其廣泛使用的重要原因，此外，其精度受限於使用的celeba，在大姿態下效果也不怎麼好.
綜上，乙個密集的端到端輕量級的模型是人臉美顏等關鍵點應用的剛需，但是由於能直接拿來賣錢，大家都不怎麼公開技術方案，典型的如hyperlandmark提供了android端可用的庫，但是訓練部分一直諱莫如深.
參考:人臉關鍵點檢測綜述
人臉關鍵點對齊
一種人臉68特徵點檢測的深度學習方法
乙個實用價值很大的人臉關鍵點檢測演算法pfld: pfld-pytorch
人臉關鍵點檢測綜述
目錄 1.前言 2 人臉檢測資料集 3.人臉檢測方法 4.鏈結以及部分部落格解讀鏈結 根據知乎專欄 整理出來的 綜述。馬住慢慢看總結。序號 時間主要方法 優點缺點1 an introduction to active shape models 1995 asm模型簡單直接，架構清晰明確，易於理解和應...
人臉關鍵點 PFLD人臉關鍵點檢測解讀
參考 應用場景 人臉特效，疲勞檢測，美妝，非官方code 圖1 模型結構圖 圖2 人臉關鍵點 圖3 輔助分支 pfld的模型訓練策略 一開始我們設計的那個簡單的網路，採用的損失函式為mse，所以為了平衡各種情況的訓練資料，我們只能通過增加極端情況下的訓練資料 平衡各類情況下的訓練資料的比例 控制資料...
人臉關鍵點檢測1 SDN
題目 effective face landmark localization via single deep network 常用的資料增強 平移 旋轉 映象 縮放 stage1 抖動人臉框位置加角度偏移和映象 stage2 對訓練資料中的hard examples errors 0.02 進行資...