MirrorSys 沉浸式現實是一種怎樣的體驗?

2021-07-11 13:45:22 字數 2254 閱讀 9227

文/james begole博士

遊戲大概是沉浸式現實(immersive reality)最具代表性的殺手級應用。在遊戲中,玩家頭戴耳機,暢遊在乙個人造世界中。然而,虛擬實境並不侷限於由電腦生成的人造世界,它還包括讓遠在天邊的場景變得近在咫尺。通過部署高畫質攝像機、麥克風和低時延網路,我們的眼睛和耳朵能夠感知來自遙遠地區的光和聲,從而使這一切變得真真切切。這種遠端現實是虛擬實境的一種。遠端現實中的所有實物都是現實世界中真實存在的,只是不在你眼前而已。

如今攝像機已經具備了令人驚異的高解析度。典型的消費型攝像機畫素已經超過了1200萬,甚至一些感測器的畫素已經超過了1.2億。同時,顯示器解析度也從高畫質(200萬畫素)提公升至4k超高清(800萬畫素),並且新的顯示螢幕的解析度可以達到8k(3200萬畫素)。或許我們在輕鬆後仰著看電視或電影時,這些解析度已經綽綽有餘。然而當我們身處一種遠端空間進行交流時,這些解析度是否足夠讓我們隨心所欲地跟蹤目標並調整焦距、產生一種沉浸式體驗呢?

傳統的電影和電視帶給觀眾的都是一種「後仰式」經歷,觀眾只能被動地聆聽別人講故事,或者跟隨攝像機的鏡頭移動而移動。然而在沉浸式體驗中,每乙個觀眾都可以定義自己的興趣點,他們的興趣點可以根據活動場景隨時變更。說的再清楚一點就是——他們正在重現現實。這並不像在拍攝電影或者講述故事時那樣,把觀眾的注意力引向某一場景中的某一主角或某一物體上。在沉浸式現實中,乙個觀眾想要的所有視覺和聽覺資料在他們轉頭的瞬間就必須準備就緒。

沉浸式遠端現實開啟了新的互動體驗,在這種體驗中,豐富的視覺細節影響巨大。想象一下,世界各地的外科醫生們能夠給病人遠端實施手術,嫻熟的技術人員能夠遠端製造並修復複雜的機器,學生能夠觸及地球上最前沿的科學並最終邁向地球以外的廣袤領域。人們很快將能乘坐無人駕駛飛機去異域旅行,操縱機械人與人會談,在全球最獨特的精品店裡購物,身臨其境地**賽場上世界級運動員的表演,以及和樂隊一起在台上感受現場**帶來的震撼體驗——所有這一切都將通過低時延網路實時呈現。

這些體驗價值很明確,但是,發展相關技術仍然存在一些關鍵問題,例如:要實現沉浸式體驗價值的最大化,有哪些不可逾越的限制?一旦這個問題能夠得到回答,我們就能夠知道攝像機、顯示器和網路需要處理的資料量上限。

事實證明,即使是如今最先進的攝像機和顯示器也僅能呈現我們周圍世界的只鱗片爪。人眼的點分辨能力為0.3角分,這意味著,人眼每一度能夠區分將近200個截然不同的點。倘若我們將其轉化成螢幕上的「畫素」,需要取決於畫素的大小以及人眼與螢幕之間的距離。我們以每度200畫素進行合理**。人眼能夠機械移動的跨度是水平150度,垂直90度。要全面覆蓋這一跨度,需要5.4億畫素。

此外,人眼還有其它一些特徵也是當前的顯示技術無法望其項背的。例如,人眼能夠感知將近100萬亮度等級的對比度,這需要高達8個位元組才能實現對每乙個螢幕畫素的色域進行完全編碼。

全方位交流不僅僅是傳輸海量的資料,還要求將這些資料進行壓縮並進行實時傳輸。早在2023年,ibm的一位早期人類因素科學家robert b. miller認為,人類界定「即時」反應的閾值是100毫秒以內。人們在虛擬實境系統中遭受的眩暈症,是由人的動態和系統反應之間的延遲所造成的。要減緩此類眩暈症,需要縮短時延。

華為實現全方位交流的第一步就是推出了一種叫做mirrorsys的研究原型,mirrorsys從視覺和聽覺方面真實並且實時地重現了與實物尺寸大小相同的遠端空間。華為曾在「2023年巴塞隆拿世界移動通訊大會」以及「漢諾瓦資訊及通訊技術展」上高調展示過mirrorsys,它包括乙個具備3200萬畫素的、牆體大小的顯示屏,該顯示屏由16個高畫質投影儀無縫排列組成,寬5公尺,高2.6公尺,完全符合人類視網膜兩公尺視距的解析度。這些早期的展示之後,華為在實驗室中又取得了一系列新的進展,包括:

雖然第一代mirrorsys原型就能夠將現今的網路基礎設施推至極限,但這只是觸及了全方位交流技術的冰山一角。不論源影象是來自現實世界中的攝像頭,還是由電腦創造的,華為知道真正的沉浸式體驗需要海量的資料來匹配人類感知的敏感度。未來的網路需要能夠以人類難以察覺的低時延來傳輸更大數量級的資料。

通過所有的這一切,華為明白:超高速網路對於全沉浸式**的廣泛應用至關重要。除了在本地專用機器上玩遊戲之外,大部分應用將需要在伺服器和終端使用者之間傳輸部分或所有「現實」,甚至連遊戲也正在被遷移到雲基礎設施之上。雲基礎設施需要在全世界範圍內傳輸大量資料,因而資料中心基礎設施對於呈現真實的人工世界變得日益重要。

華為研發部門正在加緊開發能夠將現實的遠端環境或虛擬環境中的光和聲進行壓縮、傳輸,並以實物大小、全保真的方式進行再現的技術。

沉浸式學 Git

install apt get install git core git clone git倉庫可以使用git clone獲得 git clone git 也可以通過瀏覽器瀏覽。通過git pull更新倉庫,使用git init db初始化自己的倉庫。config 開發人員需要為git倉庫配置相關資...

Android 沉浸式 體驗

首先宣告一下這個叫法應該是不對的,translucent翻譯過來的是半透明效果,不是ios的那種什麼沉浸式 首先要明確1個概念,在android上,沉浸式 叫沉浸式全屏模式以及透明化系統狀態列其實這個也沒啥好說的,不管你是android粉還是ios粉,在日常玩機的過程中,都見過這種介面效果 強調一下...

Android 沉浸式模式

注意.沉浸式模式是android4.0後出現的,所以在使用的時候注意這一點。1.為保障每個頁面都使用的是沉浸式狀態列,統一風格,所以我們需要建立theme 2.在res目錄下建立values v19 style.xml 3.新增如下屬性 windownotitle 代表沒有標題欄windowistr...