曠視科技成立 6 周年,我們和孫劍聊了聊

2021-09-23 01:18:06 字數 4108 閱讀 4586

2011 年曠視(face++)成立,成為國內最早一批在計算機視覺領域的創業公司,此後三年間,曠視科技一直致力於打造自己的人工智慧開放雲平台,提供人臉識別、影象識別的開放服務。

期間,它開始聚焦在兩個行業方向:乙個是網際網路金融,以提供人臉識別認證服務為主,另外乙個是泛物聯網,具體來說是將線下的攝像頭在端上或雲上智慧型化。

截止目前,曠視的 face++ 人工智慧開放平台的 api 已經服務了近 7 萬開發者,已被呼叫 60 多億次;身份認證平台在 2016 年為 2.1 億多人提供了刷臉服務,覆蓋了 85% 的金融市場智慧型化應用,智慧型安防和智慧型商業產品也覆蓋到 20 多個省。

2016 年 7 月,它迎來了首席科學家孫劍的重磅加盟,後者曾在微軟亞洲研究院工作 13 年,其主要研究方向是計算攝影學、人臉識別和基於深度學習的影象理解。

在曠視的這一年,由孫劍領導的礦視研究院主要在集中研究影象分類、物體檢測、語義分割、和序列學習四個視覺理解核心問題。研究的技術路線則是深度學習:使用端到端(end-to-end)的深度神經網路。

今年 9 月,蘋果新品宣布 iphone x 嵌入人臉識別解鎖功能,與此同時,國內一些手機廠商也同時布局了該項技術,其中一些手機廠商的人臉解鎖功能則由 face++ 提供技術解決方案,但它們之間有何差異?人臉識別技術在手機上落地狀況是怎樣的?同時,恰逢曠視成立 6 周年,它在技術上的發展思路是否有新變化,這些我們都跟孫劍聊了聊。

「其實網上有非常多對這項技術的解讀,我不知道我再解讀有沒有太大的意義。」當雷鋒網試圖想得到對蘋果的人臉識別技術是否會有不同的解讀內容時, 在曠視的小會議室裡,孫劍如是回應。

不過,他也並未完全回絕,反而拿起筆在白板上畫草圖做了一番講解。

在他看來,face id 最重要的還是它產生的兩個技術變革,乙個是新的 3d 感測器,另乙個是神經網路加速晶元,它有強大的演算法,可以適配最先進的深度感測器,新變革也由此產生。

有人臉識別技術不止蘋果一家,從這項技術在今年以來變得像乙個熱詞來看,它很有可能會成為手機廠商用來裝點「門面」的墜飾,三星、vivo、小公尺已然嵌入了這項技術,加入先行者陣營。

但它們與蘋果有何不同?

孫劍表示, 主要還是光學模組,體現在**鏈上,蘋果可能會通過收購的方式在前期控制一下**鏈,或者籤一些排他的協議,而安卓廠商要想在這方面有所作為,就需要找到合適的技術提供商。

而對於神經網路處理晶元,他認為在速度上其他廠商要想追趕並不是特別大的問題,比如華為推出的麒麟 970 晶元,「如果說高階手機的話,就是 ios 之後,也會有別的家,其實現在手機 gpu 也在加速,肯定不會有蘋果這麼快的速度,但也是很快就能追上。」

實際上,小公尺和 vivo 兩家國內手機廠商的人臉識別技術就是 face++ 提供的,與蘋果不同的是,這兩者應用普通 rgb 前置攝像頭來進行解鎖,比如公尺 ui 通過公升級使用者就可使用。

「蘋果的紅外攝像頭可以在黑暗中解鎖,這對 rgb 普通攝像頭挑戰很大,去年我們覺得只用 rgb 攝像頭很難做到實用。但我們現在很好的克服了這個難題:一方面是現在感測器發展比較快,暗光環境下的成像質量也不錯;另一方面我們用了很多暗光資料來訓練,效果超過了我們的預期。」

而在實際應用中的效果,孫劍表示,不需要像蘋果那樣的 3d 感測器也能達到好的效能。「基本上屋子裡全黑著燈時,如果你點亮螢幕,只要大於 0.5 個流明的微弱光亮就已經足夠實現解鎖了。」

當然,手機廠商選擇 rgb 攝像頭也是考慮到成本控制問題。「總是有乙個高、中、低端,蘋果也沒有應用到它們的所有機型,iphone 8 就沒有人臉識別。」因此,像 rgb 攝像頭則更多使用在中低端手機產品中。

成本問題之外,產能的不確定性也是其他手機廠商暫時不會跟風使用 3d 感測器的一大緣由,而 rgb 攝像頭也有各種「防護層」做防範,所以對大多手機廠商而言,後者是現階段更優的解決方案。

以下為雷鋒網與孫劍的部分對話內容:

雷鋒網:face++ 現在有在做硬體嗎?

孫劍:我們現在正在做的是 fpga 晶元,它是一種可程式設計的成品晶元,可以把自己的神經網路演算法放上去。我們也發布了乙個 fpga 的智慧型相機,內部叫做 megeye-c3s。

這個相機是業界第一款全幀率、全畫幅(1080p)智慧型人像抓拍機。全幀率的意思就是說,每秒 30 幀每幀都去抓取,在業界這個指標是最高的。在 fpga 的晶元上可以執行,這證明你這個東西是可以設計晶元,在 asci 晶元上執行。

當然是否回去設計這個晶元,是取決於這個應用的量是不是能達到百萬級。從技術上來說,現在是可以做的,但從應用上來說,需要掌握好時間點 。

雷鋒網:如果用軟體跟晶元等硬體相結合,跟其他的一些晶元廠商進行合作,主要是做哪些工作?

孫劍:乙個是軟體優化,乙個是網路設計。一般在這個晶元上,它需要網路的大小不能太大,精度都是低精度的,正常情況下我們網路的表示都是 32 位的 float,在這裡面需要用 8 位或者是更低位的來表示,這樣才有利於硬體來發揮它的計算能力,所以要去做定製化的。當然,也存在一些開放的問題需要解決,比如到底怎麼樣才能讓這東西實現低精度,同時精度不要損失太大,這是乙個非常大的挑戰。

孫劍:ai 變革真來了,不管是演算法的可能性,還是硬體需要突破,包括感測器的成熟,我們現在正在經歷著多維度的技術變革,這也讓計算機視覺有了更多可以應用的場景。

對於一家手機廠商,其實跟每乙個創業公司都一樣,需要去找突破,新的這些技術能帶來更好的產品和體驗,因為手機市場的競爭是非常激烈的。

所以說只要大家覺得某個技術方面有可能突破,大家就會特意來做這件事情。其實蘋果早在三年前就開始收購一些 3d 硬體和軟體的公司,這是對乙個技術方向的投資,然後到今天才有乙個突然的爆發。

雷鋒網:在這個爆發的過程中,face++ 給自己的角色是什麼?

孫劍:我們兩種角色都會參與,既會輸出一些核心的技術,包括神經網路、計算機視覺的能力,也會有構建自己的計算平台,來做新的產品,直接服務客戶。

雷鋒網:有報道說,你們在做一套適配整個手機平台的智慧型視覺解決方案?

孫劍:手機方案的話,目前我們比較關心的,乙個是手機安全,另外乙個是手機影像、影象、**是不是能夠通過人工智慧做的更好。

我自己博士畢業後,也做過大概五六年這方面的研究,這個方向叫做計算攝影學。當然那個時候還沒有深度學習,基本靠拍腦袋想各種演算法來解決問題。

手機是乙個很大的驅動力,像感測器對嵌入式裝置的推動是非常大的,因為這樣感測器的成本就會降下來。應用手機來驅動,這對於我們做一些非手機的功能或自己推出產品也是非常有力的。不管是商業應用,還是做出智慧型硬體,只有計算力更高、成本更低才能推出來。

雷鋒網:現在基本上人臉識別這一塊都是做前置攝像頭,如果說要做後置攝像頭的一些深度資訊的獲取,其實也可以做到很好的?

孫劍:蘋果的 iphone 7plus 是雙攝的,後置有兩個攝像頭,通過立體匹配的方式,也可以獲取深度資訊。蘋果的 ar kit 可以讓你把手機的 3d 姿態和周圍的 3d 環境實時恢復出來,這個其實是計算機視覺研究了幾十年的乙個問題。在安卓上, google 也推了乙個叫 ar core 的技術,當然還有不少第三方公司,主要看和硬體的適配是不是更好、精度是不是更高。

雷鋒網:能簡單介紹一下您在年初時候發表過一篇有關 shufflenet 的**?

孫劍:  shufflenet 就是為手機這類計算能力有限的移動裝置而專門設計的卷積神經網路模型,它可以讓因為運算需求過大而無法在手機上執行的模型能高效執行。神經網路設計目前仍然是乙個研究重點,在不同計算量下,可能需要不同的結構。shufflenet 的設計最優計算量大概在 5-50 m flops,這個範圍內目前效能最優。關於 shufflenet 的技術細節,在今年 7 月公開發表在了我們的研究**中。

這裡提一下,曠視研究院鼓勵公開發表我們的研究進展,例如我們今年在計算機視覺年會 cvpr 上共有 5 篇被接受的**。我們相信,開放的研究環境才能讓我們更強大,才能吸引更優秀的人才。

雷鋒網:今天是 face++ 成立六周年,有什麼新目標嗎?

孫劍:我們會回顧一下過去,展望一下未來,打好現在的基礎。雖然已經六年了,但我們還是乙個小創業公司,還需要不斷探索,做更好的東西出來。

第一是必須創新;

第二是必須不斷創新;

第三是必須不斷高速創新。

慶祝abas成立40周年

1980年6月19日,學生時代的peter forscht和werner strub與另外三名同學一起,在德國卡爾斯魯厄共同創立了abakus gmbh。此後不久,公司更名為 abas abas起初是一家資料處理系統公司,後逐步發展成為行業領先的中型製造企業erp 商。abas目前在其德國總部和其它...

成立一週年,貝殼如視VR要allin無限可能

近日,貝殼找房在京召開 allin無限可能 如視事業部一週年總結會,對過去一年成果進行了盤點,並對 2019 年進行了展望。來自產品 開發 運營等團隊的代表分享了自己在 2018 年的成長和收穫。團隊成員們生動風趣的總結獲得現場陣陣掌聲。活動現場,貝殼找房副總裁 如視事業部總經理惠新宸表達了對團隊的...

愛科動力慶祝成立75周年

第一百萬臺發動機出廠 喬治亞州德盧斯 美國商業資訊 從事農業機械和解決方案設計 製造和分銷的全球領先企業愛科集團 agco nyse agco 今年將慶祝愛科動力 agco power 成立75周年。愛科動力是愛科的全球發動機品牌,以頂級效能和耐用性而聞名。愛科集團董事長 總裁兼首席執行官marti...