人體關鍵點檢測綜述

2021-10-02 03:52:23 字數 1324 閱讀 8872

宣告:本文主要內容**於:

人體姿態估計(human pose estimation)也稱為人體關鍵點檢測(human keypoints detection)。對於人體姿態估計的研究,大致可做如下分類。

1. rgb vs rgbd

後者多一項depth資訊,常用於3d人體姿態估計的研究。

2. 2d human pose estimation vs 3d human pose estimation

3. singe person vs multiple persons

4. image vs. video

對於video,除了人體姿態估計演算法外,要增加對於關鍵點的tracking(追蹤)的研究。

5. top-down vs. bottom-up

以上為深度學習方法中兩個主要的研究思路。

top-down首先利用目標檢測演算法檢測出單個人,然後對proposal進行關鍵點的檢測。這種方法一般具有較高的準確率但是處理速度較低。代表性的方法有:

(1) stacked hourglass network(半壁江山)

github: (pytorch)

(tensorflow)

(2) convolutional pose machine

github: (tensorflow)

(pytroch)

(3) cascaded pyramid network

github:

(4) ****** baseline (proposed by msra)

github:

(5) multi-stage pose network (mspn,由face++提出,2023年coco 關鍵點檢測冠軍)。the code will be released.

bottom-up首先檢測出測試影象中所有的關鍵點資訊,然後分配給單個的人,這種方法一般準確率較差,但處理速度較快。代表性的方法有:

(6)highresolution net (hrnet,cvpr 2019/proposed by msra&ustc)

github:  

(1) cmu的realtime multi-person pose estimation。

github:

(2) newell(hourglass的作者)的associative embedding: end-to-end learning for joint detection and grouping.

github:

6. single stage vs. multiple stages, 多階段還是單階段。這個分類在mspn**講解的很清楚,後續我會總結並補充。

人臉關鍵點檢測綜述

目錄 1.前言 2 人臉檢測資料集 3.人臉檢測方法 4.鏈結以及部分部落格解讀鏈結 根據知乎專欄 整理出來的 綜述。馬住慢慢看總結。序號 時間主要方法 優點缺點1 an introduction to active shape models 1995 asm模型簡單直接,架構清晰明確,易於理解和應...

人體關鍵點檢測資料集介紹

一 coco資料集 訓練集和驗證集資料整體概況 最多標註全身的17個關鍵點,平均一幅影象2個人,最多有13個人 每個人體關鍵點個數的分布情況,其中11 15這個範圍的人體是最多的,有接近70000人,6 10其次,超過40000人,後面依次為16 17,2 5,1.關於影象複雜性的基準,兩個方面 遮...

基於深度學習關鍵點檢測演算法綜述

關鍵點檢測是計算機視覺中比較重要的任務之一,當前主流的演算法可總結如下 1 基於coordinate 即將卷積神經網路 cnn 的特徵通過乙個全連線層來回歸關鍵點的座標和對應的置信度資訊,在對卷積 特徵的利用上,逐漸由單層特徵到金字塔特徵轉換,有代表性的演算法為人臉關鍵點檢測的pfld演算法,全稱為...