Kinect到底如何「辨」臉「識」人

2021-06-02 16:42:53 字數 3381 閱讀 1357

kinect identity(身份識別)三要素:人臉、服裝資訊、身高

本文由《helping kinect recognize faces》翻譯而成

在xbox 360

遊戲裝置上使用kinect,就是見證奇蹟的時刻。隨著不同的人不斷地進出kinect的視野,kinect能夠識別出不同玩家的身份並做出相應反應。儘管kinect所見千差萬別,但它仍然能夠完成這一複雜任務。譬如房間內光線隨時會改變,玩家時而接近時而遠離kinect。當玩家投入遊戲的時候,他們的面部表情每一秒鐘也都會變化。

kinectidenity身份識別

技術介紹

身份識別要素

kinect身份識別,即裝置中玩家識別的工具集,主要通過以下三條視覺線索識別玩家身份:

其中最後乙個是關鍵因素。因為在身份識別過程中,玩家們的身高可能很相近,也可能會穿著同樣顏色的衣服。但他們的面孔是各不相同的。這也正是

微軟亞洲研究院

在幫助kinect識別「誰是誰」的過程中所發揮的重要作用

所在。微軟亞洲研究院

視覺計算組

高階研究員孫劍與微軟

之外的同事們合作解決了這一複雜難題,使得機器在玩家改變姿勢、改變一顰一笑、或者面部光影忽明忽暗時同樣能夠識別他們的身份。

對於一台機器來說,識別人臉並不是一件容易的事情。「最根本的困難在於同乙個人的變化,」

孫劍說,「同乙個人的面部在不同條件下可能會有很大的差異。在照明、表情或姿勢等因素的影響下,這樣的差異有時甚至比兩個人之間的還要明顯。」

主要研究概述

中的面部識別功能就應用了孫劍的研究,此應用實現了讓使用者通過人臉識別來標記和搜尋朋友或家庭成員的**。

孫劍坦言,至少目前機器無法100%成功地識別出同乙個面孔上的所有變化。他說,其中的訣竅在於讓kinect學會非常科學的猜測。

kinect人臉識別技術在很大程度上是基於一篇題為《基於學習型的人臉識別》

(face recognition with learning-based descriptor

)的**。該**由孫劍、香港中文大學曹志敏、清華大學殷琪、香港中文大學湯曉鷗教授共同撰寫。

微軟亞洲研究院

視覺計算組

高階研究員孫劍

大部分人臉識別工具都採取乙個看似顯而易見的方法,

將所看到的任何面孔與資料庫中儲存的面孔進行比對。這種方法雖然簡單,但是在面部照明條件發生變化時,或最初作為參考的面孔是笑臉,而需要識別的面孔卻皺著眉頭時,

識別過程就顯得磕磕絆絆了。

孫劍和**的共同作者們

開發了一種技術,

教會機器在

不同姿勢或照明條件下把玩家最突出的面部特徵作為基礎來識別人臉。比如說,在特定姿勢的識別中,鼻子、左眼或右眼的識別可能會比其他特徵更為關鍵。

這項技術由兩步完成。首先,從一張面孔對中提取9個主要標誌性特徵:鼻子、嘴、眼睛等。影象經過過濾,去除照明條件的變化,然後為它分配給乙個緊湊的計算機**片段。接下來,系統要確定面部姿態——來確認主體是直視攝像頭,還是將視線偏向了一邊。當然,姿態可能會有很大的變化,於是kinect使用一種演算法來決定最有可能的備選項。然後,系統將主體的眼睛、嘴或鼻子特徵與其資料庫中的影象進行匹配,並找出契合度最高的影象。人臉識別工具也決定了人臉在其視野中出現的方位,並對面部大小加以「正常化」,對玩家距離kinect的遠近進行補償。

在大多數情況下,人臉識別工具能夠達到近85%的

成功率。

完善識別功能

孫劍的團隊還貢獻了kinect的另外兩種玩家識別方法:基於服裝和身高來確定玩家身份。孫劍和他的同事

危夷晨與kinect產品團隊展開合作,協助開發了可以讓kinect避免誤判的方法。誤判確實時有發生,而且其令人印象深刻的程度不亞於人臉識別技術本身。這項技術

並不完美。

在每乙個新的遊戲賽局,kinect都會收集玩家的特點——面孔、身高和服裝顏色等,並將它們與已儲存的先前玩家資訊進行匹配。為了讓kinect「識別」玩家,匹配資訊必須有乙個肯定的反饋,例如能夠識別的身高等,同時不能有否定的反饋,例如錯誤的服裝顏色。

面部識別元件的角色類似於決勝局。當然​,它也是識別過程本身的組成部分之一。如果存在很明確的面部特徵匹配,即使其他身份識別方式,如身高或衣物顏色,給出了不匹配的反饋,它也會認定為肯定的匹配。

從一定程度上說,kinect採用微軟研究院的研究成果也很偶然。現任kinect開發團隊重要開發負責人之一的

tommer leyvand

,曾於2023年在微軟亞洲研究院實習,為此他很熟悉該院的人臉識別研究專案。

在2023年初,

leyvand成為雷德蒙kinect團隊一員。「在kinect專案進展過程中,我們知道人臉識別將成為產品的一部分,而且我知道

微軟亞洲研究院已經寫了大量有關這項技術的**,」他還表示:「微軟亞洲研究院向來就是我們視覺功能團隊的組成部分,而且在那個關鍵的時刻,他們來到了雷蒙德幫助我們一起做好kinect的上市準備。我們保持著非常密切的工作關係。」微軟亞洲研究院危夷晨與孫劍和kinect團隊合作,一起確定了最終版本的kinect身份識別工具集。

kinect的身份識別功能有兩個目的。其一是確定玩家身份,自動把他們登入到

xbox live

帳戶,並設定他們的頭像。當然,在玩家可以隨時進入和退出的遊戲過程中,kinect還需要能夠跟蹤所發生的變更,並識別出遊戲中正確的玩家。這也正是kinect令人驚訝的原因所在。

未來研究展望

「它已經成為遊戲體驗的一部分,」leyvand說:「神奇之處恰恰在於你並沒有做任何事情。你只是站在那裡,kinect就知道了你是誰。」

孫劍正在研究下一代kinect將如何進行身份識別。他在思考一種新的人臉識別方法,使機器能夠像人類自身那樣識別人臉。在第二篇有關人臉識別的**——《用於人臉識別的聯想推測模型》(

an associate-predict model for face recognition

)中,孫劍及其共同作者殷琪和湯曉鷗推測,人類會呼叫之前有關其他人的記憶,並使用這些資訊來**這個人在不同環境下的表情。

為了識別不同姿勢或不同光照條件下的人臉,聯想推測模型的第一步是構建乙個「通用」的人臉資料庫。面部器官被分解成幾個關鍵性的面部標誌,如眼睛中心、嘴角和其他12個面部特徵。這些資訊用作識別引擎搜尋不同條件下或以不同姿勢呈現的人臉的基本「記憶」元素。下一步,將特定物件的面孔,如kinect玩家與28種不同的「記憶」影象進行對比,也就是7種姿態乘以4種光照條件。識別引擎將對目標物件面部與記憶庫儲存的人臉展開「關聯」,對乙個或多個關鍵的面部特徵進行匹配,如處於臉部陰影一側並且正在向左看的眼睛等。然後,系統使用這些資訊就物件臉部在不同姿勢和不同光照條件下的樣子做出科學的猜測。

目前kinect的身份識別能力已經讓人覺得不可思議了。讓我們拭目以待未來幾代裝置將擁有的神奇功能吧!

微軟kinect for windows sdk:暮春時節如期而至

真假蜂蜜如何辨

早就聽說過蜂蜜可以調節代謝,可以美容,於是去年年底我也買了瓶百花蜜.瓶身附帶說明 溫度較低時結晶屬正常現象.可現在已經是炎熱的夏天了 我在廣東 那蜂蜜還是白白固體.莫非質量很差?查了下資料,呵呵,結果查到了個蜂蜜檢驗員給大家的解答 下面是部份引用 蜂蜜 不敢說,輔助排便道是真的.每天空腹喝一大杯蜂蜜...

到底該如何學習演算法?

很多人學習演算法都特別重視 不管是偽 也好還是具體語言 也好,然而我認為 不是那麼重要的,即使書上只有 你也不能只拘泥於 層面,而是應該通過逆向去弄明白這個演算法到底是怎麼回事,而不能停留在程式執行過程這個表面上。實際上,如果我告訴你乙個演算法的大體思想,你自己寫出實現 應該是不成問題,而記住思想總...

Uboot到底如何啟動核心

1.uboot 啟動核心的 縮減如下 uboot 1.16 lib arm board.c 中start armboot 函式呼叫 common main.c 中main loop 函式,在 main loop 中有uboot 啟動核心的 s getenv bootcmd debug main lo...