來看一場 AI 重建的 3D 全息世界盃比賽!

2021-09-20 08:22:05 字數 1512 閱讀 5319

世界盃來了!央視名嘴白岩松調侃 「俄羅斯世界盃,中國除了足球隊沒去,其他的都去了」,這屆世界盃,中國球迷購買球票的數量在所有國家中排名第 9,可見球迷對世界盃的熱情。那麼,除了準備好小龍蝦在電視機前**世界盃比賽,你有沒有想過讓 c羅、梅西或者內馬爾在你家桌子上踢一場比賽會是什麼樣子?

用cnn重建一場足球比賽

「對一場足球比賽進行單目重建有很多挑戰。我們必須估計相對於場地的攝像機姿態,檢測並跟蹤每個球員,重新構建他們的身體形狀和姿勢,並對聯合重建進行渲染,」 研究人員在他們的研究**中寫道。

這種方法的關鍵是卷積神經網路(cnn),研究人員通過訓練 cnn 來估計每個球員與拍攝比賽的攝像機之間的距離中提取的12000 張 2d 球員影象,以及從遊戲引擎提取的相應 3d 資料,以了解兩者之間的相關性。

這樣,網路就能從沒見過的 2d 影象中預估球員的深度圖( depth maps)

圖 2:重建方法的概覽

然後,球員們被放在乙個虛擬的足球場上。其結果令人驚嘆,並且可以通過 3d 檢視器或 ar 裝置從任何角度**比賽。

圖3:訓練資料:從《fifa》遊戲中提取影象和對應的深度,這裡展示了幾個視覺化為深度圖和網格的例子。

。一旦特定的幀**獲了深度和顏色,就可以提取出球員。」

圖4:合成資料集的結果以及與當前最優技術和 ground truth 的比較,視覺化為depth maps 和 3d 網格。我們的方法更準確,實現了更好的網格重構。

研究人員用微軟的hololens

研究人員承認他們的系統並不完美。他們的下乙個專案將專注於訓練系統以更好地檢測球,並開發可從任何角度觀察的系統。

這項研究將於 6 月 18 日至 22 日在猶他州鹽湖城舉行的年度計算機視覺和模式識別(cvpr)會議上首次亮相。

原文發布時間為:2018-06-26

3D全息投影的應用優勢

隨著3d全息投影技術的日漸火熱,其在各個行業中的應用也變得越來越多,同時也有更多的人對著項多 技術產生了好奇。下面就由黑火石科技帶大家去了解一下3d全息。全息投影技術屬於3d技術的一種,原指利用干涉原理記錄並再現物體真實的三維影象的技術。而後隨著科幻電影與商業宣傳的引導,全息投影的概念逐漸延伸到舞台...

3D重建的乾貨

前幾章看的腦洞太大,這節來點乾貨。self calibration 對相機的內部引數加以限制。目標 找到一種3d重建的方法,取決於euclidean 轉換 scale factor。問題 1 根據scene的資訊量。2 相機的移動軌跡。步驟 1 計算投射矩陣。2 加入某些限制upgrade到metr...

3d全息互動投影在各個場景下的應用

關於3d全息互動投影在前幾年對於大家來說還是陌生詞彙,隨著數字投影科技的飛速發展,3d全息投影技術已被實現了商用,3d全息展會 3d全息婚禮等新鮮事物層出不窮,極大的衝擊著人們的眼球。左昂多 是專門做多 互動軟體 互動系統開發的,借助左昂多 互動系統,3d全息投影在各個領域得以大放異彩。3d全息互動...