<menu id="kei0a"><strong id="kei0a"></strong></menu>
  • <menu id="kei0a"></menu>
  • <dd id="kei0a"></dd>
  • <menu id="kei0a"><strong id="kei0a"></strong></menu>
    科技魔方

    微軟專利進一步介紹HoloLens上的傳感器攝像頭

    AR/VR

    2021年12月21日

      攝像頭已經成為了AR/VR頭顯的重要組成組件。在名為“Camera for augmented reality display”的專利申請中,微軟就介紹了用于增強現實頭顯的攝像頭。

      圖1示意性地描繪了一個增強現實場景。具體地,圖1示意性地示出了在真實環境104中使用增強現實顯示設備102的用戶100。增強現實顯示設備102通過近眼顯示器106向用戶的眼睛呈現圖像,從而提供增強現實體驗。由近眼顯示器呈現的圖像包括描述由攝像頭捕獲的真實世界圖像,以及由增強現實顯示設備生成或使用增強現實顯示設備查看的虛擬圖像的混合。

      在圖1的示例中,用戶可以看到由增強現實顯示設備攝像頭成像的真實沙發110,以及由增強現實顯示設備生成并作為增強現實體驗一部分呈現在近眼顯示器的虛擬角色112。

      或者,虛擬圖像可以由不同于增強現實顯示設備的設備生成。例如,增強現實顯示設備可以從單獨的渲染計算機接收預渲染虛擬圖像,并通過近眼顯示器顯示預渲染虛擬圖像。渲染計算機可以是增強現實顯示設備的本地計算機(例如通過有線連接或合適的無線協議進行通信),或者渲染計算機可以遠離增強現實顯示設備(例如服務器計算機),并通過互聯網或其他合適的網絡進行通信。

      圖2更詳細地描述了真實圖像和虛擬圖像的混合。具體地,圖2示意性地示出了增強現實顯示設備102在使用期間的各個方面。近眼顯示器106位于用戶100的用戶眼睛200附近,使得近眼顯示器呈現的圖像對用戶可見。增強現實顯示設備102配備有攝像頭202。攝像頭202配置為捕捉來自真實世界環境的光,并生成可用于有助于經由近眼顯示器呈現給用戶眼睛的圖像的輸出。

      具體地,如圖所示,攝像頭202基于傳感器輸出信號203捕捉圖1中的真實世界環境104的圖像204。值得注意的是,圖像204可以是靜止圖像,或者可以是具有任何適當幀速率的視頻流的一幀,例如每秒90幀。

      攝像頭從真實環境接收到的光通常是可見光,從而產生真實環境的可見光圖像,類似于用戶眼睛在沒有增強現實顯示設備的情況下所看到的圖像。然而,在其他示例中,攝像頭可基于其他光譜(例如紅外、紫外線、X射線等)生成真實世界環境的圖像。因為所述光譜對人眼不可見,攝像頭和/或增強現實顯示設備可以將對應于接收到的光的像素值轉換為合適的可見RGB值。

      另外,在圖2中,攝像頭202沿著遠離用戶眼睛200的光軸212定位。以這種方式,攝像頭的位置可以基本上類似于用戶眼睛相對于X軸和Y軸的位置,只是Z軸不同。但在其他示例中,攝像頭不必沿遠離眼睛的光軸放置,而是可以具有相對于X、Y和Z軸的任何適當位置。圖3-6提供關于攝像頭202的更多細節。

      增強現實顯示設備102同時包括虛擬圖像渲染器206,所述虛擬圖像渲染器206配置為生成虛擬圖像以通過近眼顯示器顯示給用戶眼睛。如圖所示,虛擬圖像渲染器已生成描繪虛構向導角色的虛擬圖像208。然后,虛擬圖像208可以疊加在真實世界圖像204以生成增強現實圖像210。以這種方式,用戶可以感知虛構的向導角色,就好像它實際存在于用戶的真實世界環境中一樣。

      如上所述,攝像頭202捕獲真實世界環境的圖像204,圖像204與虛擬圖像208組合以給出增強現實圖像210。增強現實圖像210經由近眼顯示器106呈現給用戶眼睛200,基本上替換用戶對其周圍環境的視圖的至少一部分。但如圖所示,攝像頭的位置與用戶眼睛的位置不同,這意味著現實世界是從不同于用戶大腦通常預期的角度成像。如上所述,這可能會導致各種各樣的問題,導致頭暈。

      當光線從攝像頭光圈到圖像傳感器的光路修改為長度介于用戶眼睛和攝像頭光圈之間距離的適當閾值范圍時,這可以減輕所述問題。這與將圖像傳感器物理定位到更接近用戶眼睛的實際位置具有類似的效果。

      圖3A和3B示意性地描繪布置在攝像頭202內的光學元件的細節,其可用于延長光從孔徑到圖像傳感器的光路。具體地,圖3A示意性地描繪了用戶眼睛200,以及以橫截面示出的增強現實顯示設備102的近眼顯示器106和攝像頭202。攝像頭202包括光圈300,光圈300配置為接收來自真實世界環境的光線302A和302B。攝像頭202同時包括圖像傳感器304,圖像傳感器304配置為通過生成可用于在描繪真實世界環境的近眼顯示器生成圖像的傳感器輸出信號來響應從真實世界環境接收的光。光線302A和302B沿從光圈到由攝像頭一個或多個光學元件提供的圖像傳感器的光路行進。

      攝像頭光圈可以有任何合適的形狀和尺寸。在示例中,光圈包括在面向攝像頭表面的環境中形成的環形環。如圖6所述,圖6示出了攝像頭202的面向環境的表面。如圖所示,攝像頭202包括在外邊緣附近形成的單個環形孔。圖像傳感器304以虛線示出,其描述了圖像傳感器相對于攝像頭主體和光圈的相對位置。但在其他示例中,攝像頭可包括多個光圈(和/或具有其他合適形狀的光圈。

      可以使用任何合適類型的圖像傳感器。在一個示例中,圖像傳感器可以是互補金屬氧化物半導體(CMOS)傳感器。作為另一示例,圖像傳感器可以是電荷耦合器件(CCD)傳感器。

      返回到圖3A,攝像頭202包括兩個光重定向表面306A和306B,其提供光從光圈到圖像傳感器的光路。具體地說,光線302A和302B在兩個光重定向表面之間反復反射,從而延長光路。應當理解,圖3A中描繪的具體布置是為了示例而提供,不是限制性示例。例如在圖3A中,光沿光路徑被光圈遠側光重定向表面反射兩次,并且被光圈近側光重定向表面反射一次。但在其它實施方式中,光可沿光路徑被每個光重定向表面反射任意適當次數。這可能根據尺寸約束、材料約束、所需光路長度和/或其他考慮因素而變化。

      另外,在圖3A中,圖像傳感器布置在兩個光重定向表面的孔徑近光重定向表面之上。在其他示例中,圖像傳感器可布置在光圈遠側光重定向表面之上,或具有相對于攝像頭202的其他組件的任何其他適當位置。

      如上所述,當光路長度介于用戶眼睛和攝像頭光圈之間距離的適當閾值范圍內時,可以減輕暈動癥,如圖3A和3B所示。值得注意的是,光重定向表面306A和306B之間的光的重復反射增加了光路的長度,使其大于攝像頭的物理長度,并且基本上等于用戶眼睛200和光圈300之間的距離。

      圖3B顯示了攝像頭202的等效“展開”視圖。具體地說,其示出了用戶眼睛200、光圈300、光線302A和302B以及光圈近端光重定向表面306A,但省略了攝像頭202的其他元件。本質上,圖3B示出了光所采用的替代光路,其中光在空間中傳播相同距離,但不被光重定向表面重復反射。

      參考線312指示在圖3A中光被反射的沿“展開”光路的位置。通過沿著這種交替的“展開”路徑,光線會聚在用戶眼睛的位置,而不是圖像傳感器。這相當于圖像傳感器布置在用戶眼睛上或附近的場景,如示出圖像傳感器的等效位置的框314所示。換句話說,圖3A中描繪的配置允許圖像傳感器成像真實世界環境,就好像圖像傳感器位于圖3B中所示的314處一樣。因此,圖像傳感器將具有與用戶眼睛相似的透視圖。

      應當理解,光路長度可能與用戶眼睛和攝像頭光圈之間的距離有任何合適的關系。通常希望光路長度盡可能接近用戶眼睛和攝像頭之間的距離。但據估計,即使光路的長度僅為用戶眼睛和攝像頭光圈之間距離的50%,其都可以實現顯著的益處。

      所以一般來說,光路的長度將在用戶眼睛和攝像頭光圈之間距離的適當閾值內。作為一個示例,閾值可以等于50%。在其他示例中,閾值可以是25%或10%??梢允褂萌魏魏线m的值,并且在特定情況下,閾值可以基于眼睛和被查看對象之間的距離。在特定情況下,光路長度可以動態地調整。

      在圖3A的示例中,兩個光重定向表面是由氣隙分離的獨立組件。一般來說,兩個光重定向表面可由任何合適的光傳輸介質分離?;蛘?,兩個光重定向曲面可以是單個結構的第一曲面和第二曲面。

      圖4示意性地示出了具有孔徑402的不同示例攝像頭400,其接收光404a和404b。光線沿著從孔徑到圖像傳感器406的光學路徑行進,其中光線由光重定向表面408a和408b反復反射。與圖3A不同,在示例中,光重定向表面是單光透射基板410的第一和第二表面。

      在兩個光重定向表面物理分離的情況下,如圖3A所示,兩個光重定向表面之間的距離可以動態調整。換言之,兩個光重定向曲面中的任何一個或兩個都可以相對于攝像頭主體移動,從而改變兩個曲面之間的距離。為此,圖3A包括可操作地耦合到控制器310的兩個光重定向表面之間的距離調節器308。

      例如,光重定向曲面中的一個或兩個可以附著到軌道,并且距離調整器可以包括配置成沿軌道移動光重定向曲面的電機,例如,相對于Z軸??刂破?10可以包括任何適合的計算機硬件和固件組件的集合,使得控制器可以被激活,以動態地調整光重定向表面之間的距離。通過調整差值,可以改變光從孔徑到圖像傳感器的光路長度。

      當兩個光重定向表面是單個光學透射基板的第一和第二表面時,可以實現類似的效果,如圖4中的情況。例如,光學透射基板可以是具有動態可變折射率的電光材料,例如液晶或其他合適的材料。所以如圖3A所示,攝像頭400可操作地耦合到控制器,而控制器配置為通過動態地提供電壓或電流來影響光透射基板的光透射特性。

      在圖3A的示例中,所描繪的光重定向表面為平面且彼此平行。但其他示例可以采取其他方式。圖5描繪了另一示例攝像頭500。與攝像頭202和400一樣,攝像頭500包括光圈502,其配置為接收來自真實世界環境的光線504A和504B。光線沿著從光圈到圖像傳感器506的光路行進,其中光線被光重定向表面508A和508B重復反射。

      與前面描述的攝像頭不同,攝像頭500中的光重定向表面為彎曲。這種彎曲的光重定向表面可以具有任何合適的曲率半徑,并且曲線可以是凸的或凹的,這取決于實現。另外,兩個光重定向表面中的每一個不需要以相同的方式或以相同的程度彎曲。

      光重定向表面508A和508B是由氣隙隔開的獨立組件。因此,與攝像頭202一樣,彎曲光重定向表面之間的距離在某些情況下可以通過任何合適的機制動態調整?;蛘?,與攝像頭400一樣,彎曲的光重定向表面可以是單個光學透射基板的分離表面。在這種情況下,光學透射基板在某些情況下可以是具有動態可調折射率的電光材料。

      光重定向表面以及攝像頭的其他組件可通過任何合適的制造方法制造。作為一個示例,當使用平面光重定向表面時,可通過晶圓級制造來產生所述表面。因此,光重定向表面可以是硅晶片或其他合適的材料,其中一個或多個光學元件或涂層應用于晶片?;蛘?,光重定向表面可以是單個晶圓的細分。當光重定向表面彎曲時,可使用另一合適的制造方法,例如金剛石車削。

      一般而言,光重定向表面以及攝像頭的其他光學組件可以由任何合適的材料組成。例如,光重定向表面可以由硅、塑料、金屬、玻璃、陶瓷或其他合適的材料組成。當光重定向表面是光學透射基板的單獨表面時,基板可由任何適當的透射材料構成,例如玻璃、透明塑料、透明硅或電光材料。

      在各種情況下,基本上每個光重定向表面的整個表面區域可以是反射的,或者僅光重定向表面的各個部分可以是反射的。換句話說,每個光重定向表面的各個部分可以具有印刷在表面上或以其他方式應用于表面的反射涂層。

      另外,布置在所述攝像頭內的光學元件不需要限于迄今為止所描述的光重定向表面。相反,作為非限制性示例,合適的光學元件可以包括各種反射元件、透射元件、折射元件、衍射元件、全息元件、透鏡、濾波器、擴散器等。

      名為“Camera for augmented reality display”的微軟專利申請最初在2020年5月提交,并在日前由美國專利商標局公布。

    +1

    來源:映維網

    推薦文章

    肉H文老师好紧好大好爽
    <menu id="kei0a"><strong id="kei0a"></strong></menu>
  • <menu id="kei0a"></menu>
  • <dd id="kei0a"></dd>
  • <menu id="kei0a"><strong id="kei0a"></strong></menu>