<form id="1rp55"><th id="1rp55"><progress id="1rp55"></progress></th></form>

    <noframes id="1rp55">

    <noframes id="1rp55"><address id="1rp55"></address>
    <listing id="1rp55"><listing id="1rp55"><menuitem id="1rp55"></menuitem></listing></listing>

    <address id="1rp55"></address><address id="1rp55"></address>

    科技魔方

    微軟專利介紹HoloLens用于視差重投影的時間校正系統和方法

    AR/VR

    2021年12月31日

      盡管現有的混合現實系統可以配置不同類型的攝像頭,但通過混合現實設備呈現攝像頭捕獲的圖像依然存在眾多挑戰。由于攝像頭的物理定位與用戶眼睛的物理定位屬于物理分離,所以不能簡單地直接向用戶渲染捕獲的圖像。具體地說,用戶眼睛定位和立體攝像頭定位之間的垂直偏移將導致視圖誤差,所以用戶將會感知到具有不正確深度的真實世界對象。

      在名為“Systems and methods for temporal corrections for parallax reprojection”的專利申請中,微軟介紹了一種相關主題的發明。具體來說,其主要解釋了一種用于視差重投影的時間校正系統和方法。

      現在注意圖4A,圖4A示出了頭顯400生成包括物理對象405的環境的深度映射410。頭顯400包括立體攝像頭對(例如任何模態的攝像頭),所述立體攝像頭對配置為捕獲立體圖像對,頭顯400配置為在其上執行深度計算(例如立體匹配)以生成深度映射410。

      深度映射410包括物理對象405的深度信息415。深度信息415表示在拍攝用于生成深度映射410的圖像(例如立體圖像)時從頭顯400的角度看頭顯400和物理對象405的各種表面之間的距離。圖4A將用于生成深度映射410的圖像的拍攝時間表示為“時間點1”,并且圖4A將頭顯400在時間點1期間的姿勢表示為“姿勢1”。頭顯400可以使用傳感器250來識別姿勢,例如慣性和/或視覺追蹤系統。

      圖4B示出了頭顯400獲取包括物理對象405的環境的捕獲圖像420。在一個實例中,使用用于捕獲用于生成深度映射410的立體圖像對的同一立體攝像頭對來捕獲捕獲圖像420。例如,圖4B的捕獲圖像420可以表示由用于生成深度映射410的立體攝像頭對捕獲的后續立體圖像對。因此,捕獲的圖像420可以由任何形態的一個或多個攝像頭捕獲,例如可見光攝像頭210、微光攝像頭215、熱成像攝像頭220、近紅外(NIR)攝像頭(在800 nm到2 um范圍內)、紫外(UV)攝像頭225和/或其他。

      拍攝圖像420包括物理對象405的紋理信息425。紋理信息425從與時間點2的姿勢2相關聯的頭顯400的視角表示物理對象405的各種表面的外觀、特征、顏色、一致性等。如圖4B所示,在時間點1之后的第二時間點(時間點2)捕獲捕獲圖像420。另外,圖4B示出頭顯400在時間點2與姿勢2相關聯,其與姿勢1不同。

      圖4C描繪了第三時間點(時間點3)和第三姿勢(姿勢3)的頭顯400。時間點3在時間點1和2之后,并且如圖4C所示,姿勢3不同于姿勢1和2。圖4C以虛線在時間點3和姿勢3描繪HMD 400。在一個實例中,時間點3是未來時間點,并且姿勢3是預測在未來時間點3與頭顯400關聯的預測姿勢。頭顯400可以基于對在時間點3之前頭顯400的姿勢變化的分析來識別預測的姿勢。

      圖4C示出,在時間點3,頭顯400正在顯示或將顯示包括物理對象405的表示的顯示圖像430。在這個意義上,圖4C的時間點3可以視為系統將在其上顯示顯示圖像430的顯示時間點,并且圖4C的姿勢3可以視為顯示姿勢。

      在一個實施例中,顯示圖像430是環境的合成透視圖像,并且頭顯400使用來自深度映射410的深度信息415和來自捕獲圖像420的紋理信息425生成顯示圖像430。在一個實施例中,顯示圖像430是經視差校正的圖像,而在其他實例中,不執行視差校正以生成顯示圖像430。

      圖4C的顯示圖像430示出了用于在顯示圖像430內描繪物理對象405的預期位置435。但作為說明,圖4C示出了顯示圖像430、捕獲圖像420和深度映射410之間存在時間偏移的情況。例如,圖4C示出了顯示圖像430內的物理對象405的描繪的預期位置435與捕獲圖像420內和深度映射410內的物理對象405的描繪位置之間的差異。例如,深度應黑色410內的物理對象405的描繪在深度圖410的左側區域,拍攝圖像420內的物理對象405的描繪在拍攝圖像420的中心區域,并且顯示圖像430內的物理對象405的描繪的預期位置435在顯示圖像430的右側區域中。

      例如,由于深度映射410與姿勢1相關聯,捕獲圖像420與姿勢2相關聯,并且顯示圖像430與姿勢3相關聯,因此可能發生這種差異,這在圖4C中示為在不同時間點發生的不同姿勢。

      圖5A-5C示出了用于尋址潛在時間偏移的示例性技術。

      圖5A示出了使用與姿勢1和時間點1相關聯的深度映射510生成物理對象405的3D表示505的頭顯500。頭顯500對應于上文所述的頭顯400。具有深度信息515的深度映射510對應于圖4A-4C中具有深度信息415的深度映射410。物理對象405(或場景中的其他對象)的3D表示505可以采用任何合適的形式,例如,多邊形網格、點云、非均勻有理B樣條曲面模型等。

      如圖5A所示,頭顯500通過將深度映射510中表示的深度信息515取消投影到3D空間來生成物理對象405的3D表示505。例如,圖5A示出了在深度映射510的深度信息515的各個點上執行的非投影操作540。

      在一個實施例中,對深度信息點515執行非投影操作540可概念化為將光線從基于深度信息點515的姿勢相關原點延伸到基于與深度信息點515相關聯的深度值的距離。例如,頭顯500可基于姿勢1將姿勢相關原點識別為光學中心,姿勢1是用于生成深度映射510的圖像被捕捉的姿勢。在一個實施例中,光學中心取決于非投影操作540操作的深度信息515點的一組坐標(例如一組像素坐標)。頭顯500可以基于深度信息515的點從姿勢相關原點投射光線。頭顯500可以基于與深度信息515的點相關聯的深度值將射線投射到一定距離,從而在3D空間中提供3D表示505的3D點。

      圖5B示出了當頭顯500與姿勢2相關聯時,從在時間點2捕獲的物理對象405的2D捕獲圖像520識別紋理信息525的頭顯500。

      如圖5B所示,頭顯500通過基于姿勢2投影3D表示505,從捕獲圖像520識別紋理信息525。圖5B示出了在3D表示505的各個點上執行的投影操作550。

      在一個實施例中,投影操作550可以是與上述非投影操作540相反的操作。例如,投影操作550可以概念化為將光線從三維表示505的三維點向姿勢相關點延伸。頭顯500可基于姿勢2將姿勢相關點識別為光學中心,姿勢2是捕獲圖像520的姿勢。頭顯500可以從3D表示505的3D點向識別出的姿勢相關點投射光線,并且射線可以從捕獲圖像520識別紋理信息525的點。頭顯500然后可以將紋理信息525的識別點與光線從中投射的3D表示505的3D點相關聯。

      由于投影操作550是基于與拍攝圖像520相關聯的姿勢(即姿勢2)執行,即使在時間偏移引起捕獲圖像520內和用于生成3D表示的深度圖510內的物理對象405的描繪位置存在差異,投影操作550都可以將表示物理對象405的部分的3D表示505的3D點與表示物理對象405的相同部分的紋理信息525的對應2D點對齊。

      圖5C示出了創建環境的合成圖像570的頭顯500,所述環境包括表示物理對象405的渲染對象575。圖5C同時示出了頭顯500在顯示時間點(即時間點3)顯示合成圖像570。如上所述,頭顯500識別與顯示合成圖像570的顯示時間點(即時間點3)相關聯的顯示姿勢(即姿勢3)。例如,顯示時間點可以是未來時間點,并且顯示姿勢可以是與未來時間點相關聯的預測姿勢。

      圖5C示出,頭顯500至少部分地通過使用姿勢3(即,顯示姿勢)投影3D表示505來創建合成圖像570。例如,在一個實施例中,頭顯500對3D表示505的3D點執行投影操作560。

      投影操作560基于姿勢3而不是姿勢2執行(例如與投影操作550相反)。例如,頭顯500可基于姿勢3識別姿勢相關視點,姿勢3是頭顯500將顯示合成圖像570的姿勢。姿勢相關視點可以基于用戶的一只或多只眼睛的定位,而頭顯500與姿勢3相關聯。頭顯500可以從3D表示505的3D點向所識別的姿勢相關視點投射光線,并且射線可以識別合成圖像570的一組像素坐標。

      頭顯500使用識別出的合成圖像570的像素坐標集以及與3D表示的投影3D點相關聯的幾何體和/或紋理信息來構建合成圖像570的像素。

      由于投影操作560是基于顯示姿勢(即姿勢3)執行的,因此投影操作560將表示物理對象405的三維表示505的三維點與用于在合成圖像570內描繪物理對象405的預期位置435對齊。即使在時間偏移引起合成圖像570、捕獲圖像520和/或深度圖510內的物理對象405的描繪位置或預期位置存在差異,都將發生所述對準。

      圖5C示出了應用紋理信息580的渲染對象575的合成圖像570。如上所述,3D表示505的至少一些3D點與來自捕獲圖像520的紋理信息525相關聯。因此,圖5C示出,應用于合成圖像570的渲染對象575的紋理信息580基于與根據投影操作550和560投影的3D表示505的3D點相關聯的紋理信息525。

      頭顯500在創建和/或顯示合成圖像570時執行附加操作。例如,在一個實現中,頭顯500修改3D表示的投影(和/或執行附加重投影),以基于用戶的一個或多個眼睛的透視圖生成一個或多個經視差校正的合成圖像570。

      所以,頭顯500可以以各種方式基于3D表示505的投影(根據投影操作560)和紋理信息580(基于紋理信息525)生成用于在顯示時間點顯示的合成圖像570。例如,在一個實例中,頭顯500基于3D表示505的投影(根據投影操作560)直接修改捕獲圖像520(例如通過應用每像素變換),從而生成合成圖像570。

      在其他情況下,頭顯500渲染三維表示505以提供三維表示505的二維視圖,并根據捕獲圖像520生成/更新/修改具有紋理信息525的UV貼圖。然后,頭顯可以將UV貼圖應用于渲染的3D表示505。在一個實例中,渲染3D表示和生成/更新/修改UV映射以提供合成圖像570(而不是修改捕獲圖像520),這可以至少部分地將生成合成圖像570的計算負擔分配給GPU,從而有利地為具有有限資源的系統分配計算開銷。

      圖6A示出了當頭顯600與姿勢3相關聯時,從在時間點3捕獲的物理對象405的附加捕獲圖像630識別附加紋理信息635的頭顯600。在圖5C中,時間點3和姿勢3分別指HMD將顯示合成圖像的顯示時間點和顯示姿勢。相比之下,圖6A中的時間點3和姿勢3分別指捕捉環境的附加捕獲圖像630的時間點和姿勢。

      圖6A示出了附加捕獲圖像630中描繪的物理對象405的紋理信息635不同于捕獲圖像620的紋理信息625。例如,捕獲圖像620和附加捕獲圖像630可以使用不同模式的攝像頭(例如一個或多個微光攝像頭和一個或多個熱成像攝像頭)捕獲。

      如圖6A所示,頭顯600通過基于姿勢3執行投影操作640,將三維表示605的三維點與來自附加捕獲圖像630的附加紋理信息635相關聯。圖6A的投影操作640類似于上文參考圖5B描述的投影操作550。然而,它是基于姿勢3而不是姿勢2執行投影操作640(例如與投影操作550相反)。省

      頭顯600執行一組投影操作(例如投影操作550)以從3D表示605的點的捕獲圖像620識別紋理信息625,并且隨后執行一組投影操作640,以從至少一個點的附加捕獲圖像630識別附加紋理信息635三維表示605的至少一些相同的三維點。因此,3D表示605可與來自多個源的紋理信息。

      用于捕獲捕獲圖像620和附加捕獲圖像630的攝像頭可以同步,使得由兩個攝像頭捕獲的圖像具有公共時間戳。然而,由于不同的攝像頭具有不同的位置,頭顯依然可以執行單獨的投影操作,以從不同攝像頭捕獲的圖像獲得紋理信息。

      圖6B示出了頭顯600創建和顯示包括表示物理對象405的渲染對象675的合成圖像670。在一個實例中,包括渲染對象675的合成圖像670是通過基于顯示時間點處的顯示姿勢在3D表示605的點上執行投影操作660來生成。

      圖6B的姿勢4和時間點4可分別視為用于顯示合成圖像670的顯示姿勢和顯示時間點。此外,在3D點上執行的投影(例如投影操作660)以生成用于在顯示時間點和顯示姿勢處顯示的合成圖像可被視為顯示投影。

      圖6B示出,在一個實現中,合成圖像670的渲染對象675包括基于多個紋理信息源的紋理。例如圖6B示出了渲染對象675的紋理信息680,其包括來自捕獲圖像620的紋理信息625和來自附加捕獲圖像630的附加紋理信息635的紋理分量。因此,合成圖像670可以以補償不同捕獲圖像之間的任何時間偏移的方式組合來自不同捕獲圖像(或其他源)的多個紋理。

      如圖6B所示,與捕獲圖像620和附加捕獲圖像630相關聯的姿勢和時間點(分別在時間點2和3的姿勢2和3)位于顯示姿勢和顯示時間點之前。然而,與捕獲圖像620和附加捕獲圖像630相關聯的姿勢和時間點可以在與用于生成3D表示605的深度映射相關聯的第一姿勢和第一時間點之后。因此,與提供用于生成合成圖像的紋理信息的捕獲圖像相關聯的姿勢和時間點可分別視為中間姿勢和中間時間點。類似地,在3D點上執行的用于從3D點的捕獲圖像識別紋理信息的投影可被視為中間投影。

      相關專利:Microsoft Patent | Systems and methods for temporal corrections for parallax reprojection

      通過上面描述的方式,系統可以執行用于視差重投影的時間校正。名為“Systems and methods for temporal corrections for parallax reprojection”的微軟專利申請最初在2020年6月提交,并在日前由美國專利商標局公布。

    +1

    來源:映維網

    推薦文章

    免费国产黄在线观看,吃农村哺乳丰满妇女奶水,7788亚洲精品无码专区在线
      <form id="1rp55"><th id="1rp55"><progress id="1rp55"></progress></th></form>

      <noframes id="1rp55">

      <noframes id="1rp55"><address id="1rp55"></address>
      <listing id="1rp55"><listing id="1rp55"><menuitem id="1rp55"></menuitem></listing></listing>

      <address id="1rp55"></address><address id="1rp55"></address>