判斷手勢 康奈爾研發的手套不僅識別手勢,還識別觸覺

2021-10-12 21:42:42 字數 2122 閱讀 7771

近年來,在oculus quest系列一體機的推動下,vr以更加「平易近人」的姿態切入c端遊戲市場,同時也讓更多vr玩家體驗到用手勢來互動的方式。quest和quest 2利用頭顯配備的4顆光學攝像頭和演算法來識別手勢,優勢是低成本、效能足夠穩定、容易上手。

當然,現有方案幾乎很少用於c端,因為成本較高、體積外形較笨重,所以應用場景以b端為主。

近期,康奈爾大學科研人員研發了一種柔性手勢識別手套,特點是成本足夠低,而且不僅可以識別手勢,還能識別手指動作的力度、彎曲度和拉力,也就是說可以實現更加精準的手勢模擬。

據青亭網了解,該手套方案由康奈爾大學工程學、院副教授rob shepherd帶領的科研團隊研發,原理是結合光導纖維感測器、低成本led和吸光染料來追蹤3d的手勢變化。利用上述材料開發的手套體積足夠小、材質足夠靈活柔軟,同時製作工藝較簡單、可整合開發為設計輕便的手套產品。目前,科研人員計畫將該方案於明年商業化,應用於運動醫學、物理**、ar/vr等場景。

據悉,shepherd此前負責的有機機械人實驗室曾研發出多種柔性感測器技術,其中一項的原理利用光電二極體識別光束通過光波導材質時強度的變化,來判斷光波導材料的變形程度。科研人員將這項技術用於提公升柔性機械人的感知,還將方案中的感測器與矽基材質結合,用於識別濕度、溫度和拉力。

不過,矽纖維材質並不相容可延展的柔性電子元件,而且由於柔性材質變形的規律複雜,可能同時融合多種模式的變形,因此康奈爾科研人員研發了一種能夠分離不同變形模式的感測器。

通過觀察光束通過染料,這種雙核心方案提公升了感測器可識別到的變形資料(包括壓力、彎曲、延長等)。也就是說,被led燈照亮的吸光染料可作為一種可追蹤的空間編碼。接著,科研人員開發了一種可通過識別到的資料區分不同變形動作的數學模型,來推斷手指的確切位置,以及彎曲的力度。

除此之外,相比於此前的分布式光導纖維感測器,slims感測器可搭配解析度較小的小型光電元件執行,從而降低成本、更容易製造、體積更小。

應用場景方面,該方案與柔性機器手整合後,可識別抓取物體時產生的滑動。另外,也可以整合於穿戴式ar/vr手套,科研人員利用3d列印技術只做了一款基於slims感測器的原型手套,採用整合式一體設計,配備鋰電池和藍芽模組,可無線控制一些基礎軟體。據稱,手套識別手勢的速度幾乎實時。

總之,作為一款低成本手勢識別方案,康奈爾大學的手套原型可以做到市面上一些視覺手勢方案不具備的效果,比如識別觸覺互動、力度等等。

shepherd表示:目前,手勢識別技術以視覺方案為主,但大多數幾乎不會去識別觸覺,而我們研發的手套方案同樣基於rgb光學原理,不止能識別手勢,還能識別觸覺反饋。

未來,這項技術有望應用於物理**、運動醫學、ar/vr領域。尤其是在ar/vr應用場景,它可以識別手與虛擬物體的觸覺和力反饋,模擬更逼真的物理互動。舉個例子,在ar修車或換輪胎培訓中,準確模擬動作力度和物理效果相當重要,這樣學員才能在虛擬環境中感受擰螺母所需的力度,增強肌肉記憶。

參考:康奈爾大學,

( end)

推薦閱讀

青亭網

js 判斷手勢 移動端JS判斷手勢方向

原生js判斷手勢方向的解決思路 1 滑動螢幕事件使用html5 的touchstart滑動開始事件和touchend滑動結束事件。2 方向的判斷,以起點做平面座標系,與終點連線做直線,直線與x正半軸計算角度 我們以45度角為方向分割線,如 只要滑動角度大於等於45度且小於135度,則判斷它方向為向上...

js 判斷手勢 移動端JS判斷手勢方向

原生js判斷手勢方向的解決思路 1 滑動螢幕事件使用html5 的touchstart滑動開始事件和touchend滑動結束事件。2 方向的判斷,以起點做平面座標系,與終點連線做直線,直線與x正半軸計算角度 我們以45度角為方向分割線,如 只要滑動角度大於等於45度且小於135度,則判斷它方向為向上...

android判斷手勢方向詳解

在控制項上設定ontouchlistener事件 判斷手勢方向包括 按下時,移動,鬆開 switch event.getaction offsetsbyx offsetx 不斷移動的時候獲得移動的x軸總偏移量 offsetsbyy offsety 獲得y軸總偏移量 startx movedx 把每次...