<form id="1rp55"><th id="1rp55"><progress id="1rp55"></progress></th></form>

    <noframes id="1rp55">

    <noframes id="1rp55"><address id="1rp55"></address>
    <listing id="1rp55"><listing id="1rp55"><menuitem id="1rp55"></menuitem></listing></listing>

    <address id="1rp55"></address><address id="1rp55"></address>

    科技魔方

    提高投影分辨率 微軟專利為HoloLens提出重投影技術和wobulation技術

    AR/VR

    2021年12月21日

      在現有的混合現實和全虛擬現實設備中,用于向用戶顯示圖像的投影儀可能相對較大。這種投影儀的尺寸可能使投影儀難以適應佩戴舒適的眼鏡形狀參數。另外,現有混合現實設備中使用的投影儀可能重量超過預期。重型投影儀可能會使混合現實設備在長時間內佩戴時感到不舒服。

      現有混合現實設備中包含的投影儀同時可能具有較高的功耗。高功耗率可能會縮短續航,并可能需要用戶更頻繁地為混合現實設備充電。另外,如果增加電池尺寸以考慮投影儀的功率需求,則混合現實設備的尺寸和重量可能進一步增加。

      為了解決現有混合現實設備的限制,微軟在名為“Reprojection and wobulation at head-mounted display device”的專利申請中提出了一種投影技術。具體來說,專利描述了一種重投影技術和wobulation技術。

      所謂的wobulation技術是指:投影儀將圖案投影到一個平面,除了投影圖像的自動分辨率外,通過快速在一個稍微不同的位置增加另一個重疊的幀,最終幀的分辨率將會更高。簡答來說,可以致使每個微鏡形成兩個圖像像素,從而提高分辨率。這種技術本質是快速輕微偏移幀,使一幀畫面中的像素填充到另一幀畫面像素的空隙中。當你以足夠快的速度執行這個操作,眼睛就能看到更多的細節。盡管這其實是兩幀畫面,但眼睛無法分辨。對于所述技術,你可以想象成一種左右/上下/斜角橫跳,原本固定的像素快速朝一個方向移動,從而形成一種抖動感/晃動感,故得名wobulation(抖動/晃動)。

      通過利用重投影和wobulation技術,微軟希望直接提高投影儀的分辨率,無需增加任何材料尺寸或重量。

      根據一個示例實施例,圖1中示出了頭戴式顯示設備10。圖2示出了可與頭戴式顯示設備10和圖1的一個或多個遠程計算設備80一起使用,以在頭戴式顯示設備10顯示內容的方法100。

      方法100可替換地與其它頭戴式顯示設備一起使用。在所述示例中,虛擬內容以多個幀顯示在頭戴式顯示設備10,每個幀具有各自的顯示時間。方法100的步驟102可在一個或多個遠程計算設備80處執行。在步驟102,方法100可以包括在當前幀的當前顯示時間生成頭戴式顯示設備的設備姿勢的渲染時間估計。渲染時間估計可以至少基于前一幀的設備位置數據生成。

      如上所述,設備位置數據可以包括指示頭戴式顯示設備10在空間中的位置和方向以及頭戴式顯示設備10的運動的信息??梢詮念^戴式顯示設備10接收設備位置數據。因此,可以基于在前一幀中從頭戴式顯示設備10接收的傳感器數據,在一個或多個遠程計算設備80處估計當前幀的設備姿勢。前一幀可以是緊接當前幀之前的幀,或者在前一幀和當前幀之間可以存在一個或多個中間幀。

      步驟104可在一個或多個遠程計算設備80處執行。在步驟104,方法100可以包括在頭戴式顯示設備10的虛擬渲染表面渲染顯示的內容,以獲得渲染圖像。虛擬呈現表面可以是物理環境中用于顯示虛擬內容的空間表示。例如,虛擬渲染表面可以是立方體、矩形棱鏡或其他??梢灾辽俨糠值鼗谠诓襟E102確定的渲染時間估計來呈現所顯示的內容。在一個實施例中,渲染圖像可以包括多個像素的相應顏色信息。

      在步驟106,方法100還可以包括從一個或多個遠程計算設備80向頭戴式顯示設備10發送渲染圖像。

      方法100的步驟108可在頭戴式顯示設備10的處理器12執行。步驟108可包括從一個或多個位置傳感器26接收位置數據。位置數據可以包括指示頭戴式顯示設備10的方向、速度和/或加速度及其位置的數據。在步驟110,方法100同時可以包括,頭戴式顯示設備10的處理器12基于位置數據確定頭戴式顯示設備10的更新設備姿勢。在一個實施例中,可以至少部分地基于來自前一幀和/或在當前幀之前發生的一個或多個其他幀的位置數據來確定更新的設備姿勢。更新的設備姿勢在顯示時確定,以準備顯示渲染圖像。

      方法100的步驟112可以在頭戴式顯示設備10的處理器12執行。在步驟110,方法100還可以包括對渲染圖像的像素中的顏色信息執行第一空間校正??梢灾辽俨糠值赝ㄟ^基于更新的設備姿勢重新投影渲染圖像來執行第一空間校正。當重新投影渲染圖像時,可在虛擬渲染表面內重新定位渲染圖像的至少一部分的位置??梢灾匦峦队颁秩緢D像,使得當用戶從更新設備姿勢的位置和方向查看一個或多個虛擬對象時,一個或多個虛擬對象似乎位于其各自的世界鎖定位置。因此,當用戶的頭部移動時,虛擬對象的表面位置可能看起來保持固定。

      步驟114可在頭戴式顯示設備10的顯示器32執行。在步驟114,方法100可以包括對重投影渲染圖像的像素中的顏色信息執行第二空間校正。第二空間校正可以至少部分地通過對重投影的渲染圖像應用wobulation來執行,從而為當前幀生成wobulation像素子幀序列。通過對重投影的渲染圖像應用wobulation,可以提高顯示器32的有效分辨率。盡管圖2將重投影和第二空間校正示為單獨的步驟,但步驟114和步驟116可以組合成單個操作,其中渲染圖像重定位和wobulation。當步驟114和步驟116組合時,組合的步驟可以在顯示器32的面板內執行。

      步驟116也可以在頭戴式顯示設備10的顯示器32上執行。在步驟116,方法100還可以包括通過顯示抖動像素子幀序列來顯示當前幀。因此,可以顯示當前幀,使得虛擬內容已經針對設備姿勢的變化進行了校正,并且使得顯示器32的有效分辨率已經通過面板內擺動而增加。

      圖3示意性地示出了一個或多個遠程計算設備80的頭戴式顯示設備10和遠程計算設備80。如圖3的示例所示,遠程計算設備80的處理器82可配置為在當前幀的顯示時間46計算頭戴式顯示設備10的估計設備姿勢42的渲染時間估計??梢灾辽俨糠值鼗趶念^戴式顯示設備10接收的先前幀位置數據44來計算估計的設備姿勢42的渲染時間估計?;诠烙嫷脑O備姿勢42,處理器82可進一步配置為渲染包括一個或多個像素50的顏色信息52的渲染圖像40。處理器82可以渲染渲染圖像40,使得從在估計的設備姿勢42的渲染時間估計中估計的頭戴式顯示設備10的位置和方向顯示渲染圖像40中包括的一個或多個虛擬對象。

      頭戴式顯示設備10的處理器12可配置為通過通信設備套件16接收已在遠程計算設備80上渲染的當前幀的渲染圖像40。處理器12可進一步配置為從一個或多個位置傳感器26接收位置數據60。處理器12可以進一步配置為基于位置數據60確定頭戴式顯示設備10的更新設備姿勢62。

      處理器12同時可以被配置為至少部分地通過基于更新的設備姿勢62重新投影渲染圖像40,從而生成重新投影的渲染圖像64。生成重投影渲染圖像64可以包括對渲染圖像40執行第一空間校正,以確定每個像素50的校正顏色信息66。重投影可以是對渲染圖像40的調整,以考慮估計的設備姿勢42和更新的設備姿勢62之間的位置和/或方向的差異。

      圖4A示出了示例虛擬渲染表面48,其中渲染圖像40被重投影,從而獲得在虛擬渲染表面48內具有不同位置的重投影渲染圖像64。在圖4A的示例中,更新的設備姿勢62指示頭戴式顯示設備10位于比估計的設備姿勢42中指示的高度低的高度。因此,重投影的渲染圖像64以相對于渲染圖像40增加的高度顯示。

      圖4B示出了后期重投影過程的示例,所述重投影過程可用于生成圖4A的重投影渲染圖像64。在圖4B的左上角,所述過程從服務器端渲染階段開始,其中遠程計算設備80(例如服務器)接收頭戴式顯示設備10的最新設備姿勢并將其存儲在姿勢歷史中?;谧藙輾v史,遠程計算設備80上的算法在顯示時計算渲染時間估計的設備姿勢42,并基于估計的設備姿勢42渲染場景。

      然后,根據渲染技術將根據估計的設備姿勢42定向的虛擬camera虛擬捕獲的圖像渲染到渲染表面,例如,如圖所示,渲染表面可以是渲染盒(具有5條邊的盒形表面)或渲染楔塊(具有左右邊的雙面表面)。

      接下來,在稱為后期重投影的過程中,使用基于姿勢差計算的單應變換在渲染表面內重投影渲染表面中的像素數據。然后,將重新投影的渲染表面中的像素數據寫入視口并顯示在與頭戴式顯示設備10相關聯的顯示器32。

      更新后的設備姿勢發送回遠程計算設備80,以包括在姿勢歷史中并用于后續姿勢預測中。這樣,可以基于對設備姿勢的顯示時間更新來調整重投影渲染圖像64的最終顯示,這將實現顯示器32顯示圖像的更精確定位。這一點尤其重要。

      在一個實施例中,如圖5所示,處理器12可配置為分別對渲染圖像40的多個顏色通道中的每一個執行第一空間校正。如圖5的示例中所示,渲染圖像40的顏色信息52可以包括分別包括每個像素50的紅色、綠色和藍色值的紅色通道52A、綠色通道52B和藍色通道52C。

      當處理器12執行第一空間校正時,處理器12可以配置為生成校正顏色信息66,而所述校正顏色信息66包括校正紅色通道66A、校正綠色通道66B和校正藍色通道66C。通過分別重投影包括在顏色信息52中的不同顏色通道,處理器12可以說明不同波長的光的折射角的差異。在執行第一空間校正時考慮這些波長差異可實現重投影渲染圖像64相對于渲染圖像40的有效分辨率增加。

      回到圖3,頭戴式顯示設備10的處理器12可進一步配置為將重新投影的渲染圖像64輸出到顯示器32。顯示器32可以配置為至少部分地通過對重投影渲染圖像64應用wobulation來對重投影渲染圖像64的像素50中的校正顏色信息應用第二空間校正??梢栽诎ㄔ陲@示器32中的wobulation電路38執行第二空間校正。

      當應用第二空間校正時,顯示器32可以為當前幀生成wobulation像素子幀72的序列70。顯示器32中包括的每個像素50可以包括多個子像素54。當顯示器32生成wobulation像素子幀72時,顯示器32可以生成相應的子像素信息76,其中每個子像素54可以顯示在wobulation像素子幀72中。子像素54的子像素信息76可包括子像素顏色77和/或空間偏移78。

      顯示器32可進一步配置為通過顯示wobulation像素子幀72的序列70來顯示當前幀。當顯示序列70時,每個子像素54可以根據其在每個wobulation像素子幀72中的各自子像素數據76來顯示。在一個實施例中,wobulation像素子幀72的序列70可以以與處理器12輸出重投影的渲染圖像64的渲染速率異步的顯示速率來顯示。

      圖6A-6D示出了示例序列70。顯示器32包括多個像素50,每個像素50包括各自的多個可尋址子像素54。wobulation電路38可以配置為至少部分地通過重新調整多個像素50中的每個像素的一個或多個子像素54來對重投影的渲染圖像64應用wobulation。當wobulation電路38重新格式化一個或多個子像素54時,電路38可以修改將哪些子像素54分配給哪些像素50以及這些像素50內的哪些位置。在顯示器32是LCoS顯示器的實施例中,可以對重投影的渲染圖像64應用wobulation,而不要求頭戴式顯示設備10除了LCoS顯示器之外還包括外部wobulation器。因此,可以通過使用LCoS顯示器來減小頭戴式顯示設備10的尺寸和重量。

      序列70的每個wobulation像素子幀72可以具有相應的空間偏移78。在一個實施例中,如在圖6A-6D中,每個wobulation像素子幀72相對于序列70的初始wobulation像素子幀72的對應空間偏移78可以是一個子像素54的垂直偏移、一個子像素54的水平偏移,或者一個子像素的垂直偏移和一個子像素54的水平偏移。

      圖6A示出在第一wobulation像素子幀72A期間由四個子像素54的平方形成的第一像素50A。在圖6B中,多個子像素54被重新尋址,使得在第二wobulation像素子幀72B中,第二像素50B由四個子像素54的平方形成,四個子像素54相對于圖6A中所示的第一wobulation像素子幀72A向右移動一個子像素54。圖6C示出了第三wobulation像素子幀72C,其中多個子像素54被重新尋址,使得第三像素50C由相對于第二wobulation像素子幀72B向下移動一個子像素54的正方形子像素54形成。圖6D示出了第四wobulation像素子幀72D,其中多個子像素54被重新尋址,使得第四像素50D由相對于第三wobulation像素子幀72C向左偏移一個子像素54的子像素54的平方形成。在第四wobulation像素子幀72D之后,wobulation電路38可以返回到第一wobulation像素子幀72A的像素尋址配置。

      如圖6A-6D所示,在wobulation像素子幀72的序列70上,wobulation電路38可以修改wobulation像素子幀72的相應空間偏移78,以通過四個不同位置的循環移動每個像素50。應用于像素50的空間偏移78可以有效地將顯示器32的分辨率提高四倍。

      因此,顯示器32可以顯示重新投影的渲染圖像64,就好像顯示器32中包括的像素50的數量是原來的四倍,但不會導致投影儀尺寸或功耗的增加,這將導致顯示器32中包括的像素50的數量翻兩番。另外,由于wobulation而實現的超分辨率可以獨立于由于單獨重新投影渲染圖像40的顏色通道而實現的超分辨率。因此,在圖2的示例中實現的超分辨率。6A-6D仍然可以在校正顏色信息66包括多個單獨重投影的顏色通道的實施例中實現。

      回到圖3,除了具有各自的空間偏移78之外,在一個實施例中,序列70中包括的每個wobulation像素子幀72可以具有相應的子像素顏色77。例如,每個子像素顏色77可以從由紅色、綠色和藍色組成的組中選擇。在所述實施例中,wobulation像素子幀72的序列70可以包括一個或多個紅色wobulation像素子幀、一個或多個綠色wobulation像素子幀和一個或多個藍色wobulation像素子幀。

      圖7A示出了十二個wobulation像素子幀172A-172L的序列170。圖7A的序列170在子像素顏色77和空間偏移78之間循環,使得從紅色、綠色和藍色中選擇的每個子像素顏色77在圖7A所示的四個空間偏移78中的每一個處顯示。6A-6D。在序列170中,第一wobulation像素子幀172A、第四wobulation像素子幀172D、第七wobulation像素子幀172G和第十wobulation像素子幀172J為紅色;第二wobulation像素子幀172B、第五wobulation像素子幀172E、第八wobulation像素子幀17211和第十一wobulation像素子幀172K為綠色;第三wobulation像素子幀172C、第六wobulation像素子幀172F、第九wobulation像素子幀1721和第十二wobulation像素子幀172L為藍色。

      在其他實施例中,如圖7B所示,wobulation電路38可配置為生成序列270,其中一個或多個紅色wobulation像素子幀的數量、一個或多個綠色wobulation像素子幀的數量,并且序列270中包括的一個或多個藍色wobulation像素子幀的數目不都彼此相等。除了第六wobulation像素子幀272F和第十二wobulation像素子幀272L之外,包括在圖7B的序列270中的wobulation像素子幀72各自具有與圖7A的序列170相同的相應子像素顏色77和空間偏移78。

      第六wobulation像素子幀272F是綠色而不是藍色,第十二wobulation像素子幀272L是紅色而不是藍色。例如,可以選擇序列70中具有每個子像素顏色77的抖動像素子幀72的數量,以匹配人眼對不同顏色光的靈敏度。在一個實施例中,wobulation像素子幀72與每個子像素顏色77的比率可以基于頭戴式顯示設備10的外向光學傳感器22和/或內向光學傳感器24檢測到的照明條件來動態調整。

      圖8A-8B示出了根據一個示例性實施例,可包括在頭戴式顯示設備的顯示器32中的投影儀300的示例性結構。示例投影儀300可以包括照明空間310、非發射顯示器320、成像空間330和用戶的眼睛340。如圖8A所示,第一照明源312A和第二照明源312B可位于照明空間310中,且它們之間具有第一位移304。

      相關專利:Microsoft Patent | Reprojection and wobulation at head-mounted display device

      名為“Reprojection and wobulation at head-mounted display device”的微軟專利申請最初在2020年5月提交,并在日前由美國專利商標局公布。

    +1

    來源:映維網

    推薦文章

    免费国产黄在线观看,吃农村哺乳丰满妇女奶水,7788亚洲精品无码专区在线
      <form id="1rp55"><th id="1rp55"><progress id="1rp55"></progress></th></form>

      <noframes id="1rp55">

      <noframes id="1rp55"><address id="1rp55"></address>
      <listing id="1rp55"><listing id="1rp55"><menuitem id="1rp55"></menuitem></listing></listing>

      <address id="1rp55"></address><address id="1rp55"></address>