蘋果如何使用神經網路在點雲中做物件檢測

2021-09-17 05:03:24 字數 1270 閱讀 7165

蘋果發明了一種神經網路系統,可以從由lidar感測器生成的點雲中分離出物件。

\\ 不久之前,蘋果進軍無人駕駛領域。不過,關於他們的汽車,我們了解的並不多。許多正在研發自動駕駛汽車的公司都使用所謂的lidar來檢測汽車周圍的障礙物。lidar發出光脈衝,並測量該脈衝返回感測器的時間,然後就可以計算出汽車與附近的障礙物之間的距離。旋轉感測器就可以測得感測器周圍的所有障礙物。

\\ lidar獲得的距離儲存在所謂的「點雲(point cloud)」中。在將這個點集視覺化之後,人類可以很輕鬆地檢測出這些點雲中各種型別的物件,如人、汽車、自行車。遺憾地的是,對計算機而言,這仍然是一項困難的工作。讀者可以試著指出上圖中的人和汽車。

\\ 傳統方法依靠人工編制的特性賦予這些資料意義。例如,將雲分割成子雲的方法,或者將點雲分離成平面的方法。還有一種讓lidar資料有意義的方式是選擇乙個觀察點,把影象輸入已有的計算機視覺演算法。這些方法的缺點是特性設計非常困難,而且也很難設計出可以很好地概括所有情況的特性。現在,蘋果建立了一種端到端的神經網路來解決這個問題。這種方法不依賴任何手工編制的特性或神經網路之外的其他機器學習方法。

\\ 該方法的第一部分是所謂的「特性學習網路」。蘋果把這個空間分解成所謂的三維畫素(3d畫素)。在檢測汽車時,他們將每個三維物件的尺寸設定為2公尺高、2.4公尺寬(這樣,一輛汽車就可以很好地匹配到乙個三維畫素裡去)。在每個三維畫素裡,他們隨機選取乙個點的子集(有些三維畫素包含許多點,有些只包含幾個,這樣處理之後,每個三維畫素包含同樣數量的神經網路輸入)。他們把這個點的子集輸入到神經網路,在乙個128維的空間裡建立乙個表示。

\\ 對這個空間裡每乙個點都進行這樣的處理,就得到乙個資料結構,讓你可以通過在神經網路方法中看到的相同的網路結構輸入到計算機視覺演算法。通過多個卷積層,神經網路把輸出投射成一張概率圖和一種回歸圖(如下圖所示)。概率圖說明了這個空間中的每個三維畫素是否包含物件。回歸圖說明了每個三維畫素中物件的位置。

\\ 蘋果使用kitti vision基準測試測試了他們的方法,並把他們的方法和其他使用類似資料的方法進行了比較,不過,有些方法使用了人工編制的特性。結果表明,與所有現有的方法相比,包括使用了人工編制的特性的方法,他們的方法效能更好。

\\

神經網路及其在點雲中的應用

1.傳統的人工神經網路 也叫作多層感知機 分為幾大模組 2.卷積神經網路 也叫作多層感知機 分為幾大模組?3.基於點雲的神經網路 神經網路可以分為生物神經網路和人工神經網路。我們通常在機器學習領域提到的神經網路都指的是人工神經網路。舉乙個實際的例子來理解神經網路 假如我們有乙個有關於房價的資料集,這...

基於ARM在cpu上做神經網路加速

本文將嘗試回答乙個簡單的問題 什麼庫 工具包 框架可以幫助我們優化訓練模型的推理時間?本文只討論已為arm架構晶元提供c c 介面的工具包和庫 由於嵌入式裝置上使用 我們很少lua 或 python 限於文章篇幅,不闡述另外一種加速神經網路推理的方法,即修改網路架構,從sqeezenet架構可看出,...

在神經網路中使用交叉熵代價函式

是用來衡量人工神經網路 ann 的 值與實際值的一種方式。與二次代價函式相比,它能更有效地促進ann的訓練。在介紹交叉熵代價函式之前,本文先簡要介紹二次代價函式,以及其存在的不足。ann的設計目的之一是為了使機器可以像人一樣學習知識。人在學習分析新事物時,當發現自己犯的錯誤越大時,改正的力度就越大。...