英偉達發布「後排駕駛員」AI,能夠學習閱讀唇語

2021-09-23 07:27:13 字數 864 閱讀 9958

英偉達公司在今年的消費電子產品展上公布的聯合駕駛員"後座司機"ai可謂一鳴驚人。事實上,大多數與會者都被其在"車"**色的唇語理解能力所震撼。

根據ces展會上公布的內容,這款聯合駕駛員ai助手能夠執行四項功能:面部識別、頭部追蹤、視線追蹤與唇語閱讀。自動駕駛ai屬於gpu助力drive px 2平台的組成部分,其採用多款感測器以及由英偉達處理器支援的多種神經網路以實現功能。

英偉達公司的一位發言人在採訪郵件中確認稱,這款唇語閱讀元件基於由牛津大學、谷歌deepmind以及加拿大高階研究所的學者們共同撰寫的一篇研究**。

其實這篇**在發布之初曾受到批評。雖然其中採用的神經網路lipnet擁有高達93.4%的識別準確率,但其測試場景僅限於一部分特定詞彙而非連貫的句子。

在發表於arxiv上的第二篇**中,我們看到lipnet的能力得到提公升。其在通過數個小時的bbc新聞主持人唇部運動解析訓練後,現在已經可以解讀完整的句子。

根據英偉達方面的說法,開發頭部與視線追蹤以及面部識別功能是為了向使用者提供更出出色的安全性與駕駛體驗。

"其中包含一套用於實現面部識別的ai,這樣車輛就會了解到駕駛員是誰、設定個人偏好且不再需要使用鑰匙啟動車輛。另一套ai則用於視線追蹤,這意味著車輛能夠了解到您當前的注意目標,"英偉達公司在一篇部落格中解釋稱。

英偉達公司向來以為遊戲及高效能計算用例設計強大的gpu方案而聞名,但其近年來則一直把更多精力用於gpu加速型機器學習與ai的研發當中。「目前梅塞德斯-賓士、奧迪、特斯拉以及豐田都已經成為該項新技術的客戶,」一位英偉達公司發言人確認道。

原文發布時間為:

2023年1月18日

劉新萍

英偉達發布「後排駕駛員」AI,能夠學習閱讀唇語

英偉達公司在今年的消費電子產品展上公布的聯合駕駛員 後座司機 ai可謂一鳴驚人。事實上,大多數與會者都被其在 車 色的唇語理解能力所震撼。根據ces展會上公布的內容,這款聯合駕駛員ai助手能夠執行四項功能 面部識別 頭部追蹤 視線追蹤與唇語閱讀。自動駕駛ai屬於gpu助力drive px 2平台的組...

Problem D 駕駛員與汽車

home web board problemset standing status statistics time limit 1 sec memory limit 128 mb submit 2573 solved 1091 submit status web board 我們知道,目前我國的駕照...

1781 駕駛員與汽車

我們知道,目前我國的駕照大致可分為a b c三種,其中c證只能開小型客車 貨車 b證可開中 小型客車 貨車 a證沒有限制。現在請定義如下幾個類 1.automobile 抽象類,具有資料成員double speed,純虛函式virtual void run const 0。2.六種車型,即小型車be...