<menu id="kei0a"><strong id="kei0a"></strong></menu>
  • <menu id="kei0a"></menu>
  • <dd id="kei0a"></dd>
  • <menu id="kei0a"><strong id="kei0a"></strong></menu>
    科技魔方

    Meta用眼球追蹤動態校正VR畸變,誤差和延遲細節公布

    AR/VR

    2022年08月11日

      今年6月,Meta Reality Labs公布了一種光學畸變模擬裝置,其特點是可測試不同的屏幕和透鏡配置,加速VR光學方案迭代。

      這種裝置具體有什么用呢?我們知道,目前市面上的一些消費級VR頭顯采用靜態畸變校正方案,來優化透鏡造成的畫面失真,原理主要基于對渲染圖像的預先扭曲。但這只能解決靜態畸變,動態畸變(移動的眼球通過透鏡看到的畫面畸變)還需要配合眼球追蹤技術,來實時校正。然而,現有的眼球追蹤技術在準確性、延遲等方面還有待優化,因此即使采用眼球追蹤和動態畸變校正算法(DDC),效果也不一定理想。甚至可能會因為眼球追蹤系統、校正模型本身的誤差而受到限制,部分圖像不能得到校正。

    Meta Reality Labs公布了一種光學畸變

      因此,為了快速測試不同眼球追蹤效率對于VR視覺效果的影響,Meta研發了這一套數字模擬裝置,好處是省去了制造光學原型硬件的成本和時間,可以直接在測試中收集使用反饋。解決哪些痛點

      于VR顯示技術來講,光學透鏡和屏幕是緊密關聯的,因此更換或修改屏幕參數/類型,意味著透鏡也需要改變。為了搭配不同類型的顯示屏,Meta在VR頭顯中嘗試了各種不同的透鏡方案。比如Quest采用菲涅爾透鏡、Half Dome 2原型則采用Pancake透鏡、Holocake 2原型采用全息+Pancake透鏡。

      通常,由于光的折射特性,顯示屏畫面通過透鏡會產生一定畸變。目前市面上的一些消費級VR頭顯采用靜態畸變校正方案,即預先將圖像扭曲,來補償光線通過透鏡產生的扭曲。但這種校正方式依賴于固定的出瞳位置,比如當人眼和VR頭顯的相對位置有所變化時,預校正可能會失效(比如出現pupil swim問題)。因此,VR需要一種根據人眼運動變化而適時調整的圖像校正算法。而利用軟件來模擬整個VR頭顯光學配置,便可以更好的訓練光學畸變校正算法。 方案細節

      細節方面,其硬件構成包括:120Hz OLED大屏電視(模擬畸變圖像)、與電視同步的主動式快門3D眼鏡(營造3D效果),還有一個固定頭部的旋轉支架。

      當使用者將下巴放在支架上時,支架會根據他的頭部旋轉,來實時更新頭部和眼球模型的位置。同時,算法會根據頭部和眼球模型來計算前庭眼球反射運動(VOR),并合成對應的圖像失真。而為了模擬頭顯適配度對pupil swim的影響,該方案還可以模擬不同顯示屏角度對顯示效果的影響,利用傾斜的屏幕來貼合人臉弧度。

    微信圖片_20220811162611 (1)

      Meta指出,這個VR顯示系統模擬器可準確模擬任何光學元件組合的視覺失真效果,并通過3D眼鏡搭配快速響應屏幕,來實現3D畸變預覽。利用數字算法來模擬圖像畸變,省去了制造光學原型的過程,可以更好的加速VR顯示技術迭代。 用戶測試

      此外,Reality Labs還使用該模擬器來進行用戶調研,讓參與者測試并對比不同的光學設計和場景內容,來了解人眼對于光學失真的容忍度,尋找一種人眼可接受的畸變范圍。結果發現即使移動頭部和眼球造成一定程度的pupil swim,也不會嚴重影響VR視覺觀感。

    微信圖片_20220811162608 (1)

      眼球追蹤容忍度對比圖

      科研人員還利用LFP(光場入口)光場技術構建了一個基礎的雙目畸變度量標準,可根據用戶調研的結果來制定光學設計的基礎。光場入口作為一種通用的光學方案表示,主要是用于模擬光學器件內,光在任意角度的傳輸過程(將入瞳到顯示器之間的光線進行映射)。同時,也用來觀察人眼的前庭眼反射(VOR)運動,因為VOR運動代表了pupil swim造成的不良影響。而設備采用下巴托和咬合桿來固定頭部,并與旋轉編碼器進行同步,以此來頭部和眼球運動在試驗中保持一致。

      調研結果顯示,當眼動追蹤錯誤導致失真低于可檢測閾值時,受試者會偶然(50%)識別出失真間隔,并且當眼動追蹤錯誤導致容易檢測到的失真時,受試者會以100%的幾率識別出失真間隔??山邮艿难蹌幼粉櫺阅苡裳蹌幼粉櫿`差值定義,當失真可以在75%的時間內準確識別時。

      Pancake透鏡采用二次反射面以最小化瞳孔游動,而折射鏡片僅包含兩個光學表面,通常表現出較大的瞳孔游動。因此,眼動追蹤誤差預計會對屈光鏡片的DDC產生更大的負面影響,但影響程度未知。與折射鏡片(綠色和紫色輪廓)相比,Pancake設計(黃色和藍色輪廓)的眼動追蹤要求顯著放寬。 眼球追蹤延遲的影響

      另外,眼球追蹤誤差會對折射型透鏡和動態畸變校正算法產生負面影響。動態畸變校正算法應用于折射型透鏡時,在現有的眼球追蹤誤差基礎上,會導致更多誤差。

      實驗顯示,Pancake透鏡對眼球追蹤誤差的要求比折射型透鏡更低,因為Pancake的結構特點可減少光學模組設計的pupil swim現象。此外還發現,校正文本顯示時對眼球追蹤效果要求高,高于3D內容顯示。經過數千次試驗,除了眼球追蹤誤差外,還需要彌補8毫秒延遲。當眼動追蹤誤差最小時,可以容忍較大的延遲。

      不過,目前這項用戶測試還存在局限,比如參與者少,測試的光學架構和場景內容有限。Meta認為,未來通過后續測試可以進一步了解圖像畸變的機制,從而優化VR光學元件和畸變校正算法。也會計劃在3D眼鏡上加入眼球追蹤設備,用于測試和優化眼球追蹤技術。

      參考:Meta

    +1

    來源:青亭網

    推薦文章

    肉H文老师好紧好大好爽
    <menu id="kei0a"><strong id="kei0a"></strong></menu>
  • <menu id="kei0a"></menu>
  • <dd id="kei0a"></dd>
  • <menu id="kei0a"><strong id="kei0a"></strong></menu>