<form id="1rp55"><th id="1rp55"><progress id="1rp55"></progress></th></form>

    <noframes id="1rp55">

    <noframes id="1rp55"><address id="1rp55"></address>
    <listing id="1rp55"><listing id="1rp55"><menuitem id="1rp55"></menuitem></listing></listing>

    <address id="1rp55"></address><address id="1rp55"></address>

    科技魔方

    微軟專利分享WMR系列VR頭顯支持MR透視效果的圖像對齊方法和系統

    AR/VR

    2021年12月27日

      為了支持不同的功能,AR/VR系統一般可以搭載不同類型的攝像頭。例如可以通過攝像頭提供的視頻畫面來幫助AR/VR頭顯用戶感知現實世界,從而避免迷失方向和/或安全危險。AR/VR系統可以以多種方式呈現攝像頭捕獲的視圖。然而,通過前置攝像頭圖像來提供真實環境視圖的過程帶來了眾多挑戰。

      由于多種原因,前置攝像頭的排列方式難以一一對應雙眼,而這需要系統對齊前置攝像頭的圖像內容。通常,為了執行對齊過程,系統需要詳細的時間戳信息和姿勢信息。然而,因為不同的攝像頭可能在不同的時域中工作,所以它們具有時間偏移。另外,時間戳數據有時根本不可用,因為攝像頭之間可以彼此遠程操作,并且時間戳數據不被傳輸。盡管對齊圖像內容提供了巨大的好處(特別是在全息圖的放置和生成方面),但前面所述的問題構成了一定的障礙。

      在名為“Dual system optical alignment for separated cameras”的專利申請中,微軟介紹了一種用于對齊圖像的方法和系統。

      集成式攝像頭和分離式攝像頭操作

      現在請注意圖3,圖3包括頭顯305和其所在的環境300。在這個場景中,頭顯305包括物理集成到頭顯的集成式攝像頭310。集成式攝像頭可以是各種類型的攝像頭,例如可見光攝像頭110、微光攝像頭115、熱成像攝像頭120,甚至UV攝像頭125。在一個示例中,集成攝像頭310經由視場(FOV)315掃描環境300。

      圖3同時顯示了分離式攝像頭320的存在或使用。分離式攝像頭是指可以從頭顯305物理卸下分離的攝像頭320。例如,在特定的場景中,可以將分離式攝像頭320捆綁或以其他方式放置在用戶的胸部。在一個場景中,分離式攝像頭320可以不放置在用戶的身體上,而是放置在用戶持有的對象上。作為一個示例,假設分離式攝像頭320安裝在自拍桿或另一種類型的延長桿上。

      圖3同時示出了分離式攝像頭320如何與其自身對應的FOV 325相關聯。同時,FOV 315的至少一部分與FOV 325重疊,如重疊330所示。重疊330允許實施例能夠生成多個圖像,然后將圖像內容從一個圖像覆蓋到另一個圖像上,以便生成合成圖像或具有增強特征的疊加圖像。

      應當注意,盡管專利主要關注兩個圖像的使用,但實施例能夠對齊來自具有重疊區域的兩個以上圖像的內容。例如,假設2、3、4、5、6、7、8、9甚至10個圖像具有重疊內容。實施例能夠檢查每個圖像,然后將特定部分彼此對齊。然后,所得疊加圖像可以是由可用圖像的任何組合或對齊形成的合成圖像。因此,實施例能夠在執行操作時能夠利用任意數量的圖像,并且不限于僅兩個圖像。

      假設集成式攝像頭310為微光攝像頭,進一步假設分離式攝像頭320為熱成像攝像頭。所述實施例能夠從熱成像攝像頭圖像中選擇性地提取圖像內容,并將圖像內容覆蓋到由微光攝像頭生成的圖像上。就此而言,熱成像內容可用于增強或補充低光圖像內容,從而向用戶提供增強的圖像內容。

      圖4示出了由圖3的集成式攝像頭310生成的結果圖像。圖像400的陰影是為了將圖像與任何其他圖像區分開來。陰影不應解釋為集成式攝像頭圖像400是任何特定類型的圖像。

      通過分析集成式攝像頭圖像400中包括的內容,實施例能夠確定頭顯的姿勢405(對應圖3中的頭顯305)。例如,通過檢測錨點(例如被識別為相對靜止或不移動的點),實施例能夠確定頭顯相對于周圍環境的方向或姿勢405。

      另外,可以為集成式攝像頭圖像400確定時間戳410。時間戳410標識生成集成式攝像頭圖像400的時間。當然,時間戳410可以基于任何定時計算,包括例如由原子鐘確定的絕對時間,或者,可選地,包括任何類型的相對時間,例如處理器時鐘周期等等。

      來自圖3的集成式攝像頭310生成圖像400,并且集成式攝像頭310以特定刷新率415操作以生成新圖像。所述刷新率415可以設置為任何值。然而,刷新率415通常至少在30hz和90hz之間。在一些情況下,刷新率415高于90hz,例如可能為120hz或更高。通常,刷新率415約為90hz。

      圖4同時示出了由分離式攝像頭320生成的圖像420。在圖4中,分離式攝像頭圖像420被示為在尺寸上小于集成相機圖像400的尺寸,但是所述尺寸差異僅用于說明目的。在一些情況下,分離式攝像頭圖像420的分辨率可能高于集成式攝像頭圖像400的分辨率。在其他情況下,分離式攝像頭圖像420的分辨率可能低于集成式攝像頭圖像400的分辨率。在某些情況下,兩幅圖像的分辨率可能相同。

      集成式攝像頭圖像400(例如第一圖像)可以是可見光圖像、微光圖像或熱圖像之一。分離式攝像頭圖像420(例如第二圖像)可以是可見光圖像、微光圖像或熱圖像中的不同圖像,或者甚至可能是與第一圖像相同類型的圖像。

      實施例能夠分析分離式攝像頭圖像420中的內容,以根據圖3確定分離式攝像頭320的姿勢425。類似地,可以為分離式攝像頭圖像420確定時間戳430。在一些情況下,時間戳410相對于時間戳430不同,或者反映不同的時間,使得兩個圖像可以具有時間偏移。

      分離式攝像頭320可以具有自己的刷新率435。所述刷新率435可以設置為任何值。然而,刷新率435通常至少在10hz和60hz之間。在一些情況下,刷新率435高于60hz,例如可能為90hz或120hz或甚至更高。通常,刷新率435約為30hz。在一些情況下,刷新率435與刷新率415相同,而在其他情況下,刷新率435與刷新率415不同。當兩個刷新率不同時,兩個攝像頭在不同的時域中工作。

      關于姿勢確定,圖5示出了集成式攝像頭500。圖5同時示出姿勢505,其代表來自圖4的姿勢405。根據所介紹的原理,姿勢505至少指集成式攝像頭500相對于其環境的x-y-z位置。

      在某些情況下,姿勢505可能包括詳細說明六個自由度的信息。在某些情況下,姿勢505可能包括詳細說明三個自由度515的信息。

      可使用內置傳感器(如加速度計、陀螺儀和磁強計)確定六自由度510和三自由度515。同時可以使用位置追蹤傳感器來確定六自由度510。

      圖像對應與對齊

      根據專利原理,實施例能夠將圖4所示的集成式攝像頭圖像400與分離式攝像頭圖像420對齊。如圖3中所述,由于兩個攝像頭視場的至少一部分彼此重疊,結果圖像的至少一部分將包括相應的內容。所以,可以識別相應的內容,然后基于相似的相應內容生成合并、融合或疊加的圖像。通過生成疊加圖像,實施例能夠向用戶提供增強圖像內容,圖6示出了可用于對齊來自兩個(或可能多于兩個)不同圖像的圖像內容的第一類型對齊600。

      圖6示出了集成式攝像頭圖像605,其代表來自圖4的集成式攝像頭圖像400,以及分離式攝像頭圖像610,其代表來自圖4的分離式攝像頭圖像420。這兩個圖像通常稱為“紋理”圖像。

      實施例能夠分析紋理圖像(即執行計算機視覺特征檢測),以嘗試找到任意數量的特征點。

      圖6顯示了集成式攝像頭圖像605中的多個示例特征點,如特征點615A、特征點620A和特征點625A。其他特征點使用變暗的圓進行標識,但未標記。請注意,所述特征點與角、邊或其他脊線相關,例如毯子和枕頭中的褶皺??蓪θ魏晤愋偷奶卣鳈z測器進行編程,以識別特征點。在一個情況下,特征檢測器可能是機器學習算法。

      可以使用任何數量的訓練數據來訓練機器學習算法以動態地執行所描述的操作。

      圖6同時示出了實施例如何能夠分析、檢查或審查分離式攝像頭圖像610以識別特征點,如暗圈所示。示例包括但不限于特征點615B、特征點620B和特征點625B。

      例如,實施例檢測任意數量的特征點,然后嘗試識別在集成式攝像頭圖像605中檢測到的特征點,與在圖像605中識別的特征點之間的相關性。例如,已識別特征點615A與特征點615B鏈接或對應的對應關系615C。類似地,已經識別了對應620C,其中特征點620A確定為對應于特征點620B。已識別對應625C,其中確定特征點625A與特征點625B對齊或對應。

      在一個實施例中,對齊過程600包括識別任意數量的特征點,然后識別兩個(或更多)不同圖像中的特征點之間的相關性或對應關系。

      注意,在所述實現中,實施例避免確定分離式攝像頭圖像610的姿勢或時間戳。相反,實施例依賴于特征匹配以確定是否將來自一個圖像的圖像內容疊加到另一個圖像上。

      然后,實施例將特征或圖像對應630適配到運動模型635,以便將一個圖像疊加到另一個圖像,從而形成增強的疊加圖像。運動模型635可以是任何類型的運動模型。通常,運動模型是一種變換矩陣,其可將模型、已知場景或對象投影到不同的模型、場景或對象上。

      在一個情況下,運動模型635可能只是一個旋轉運動模型。通過旋轉模型,實施例能夠移動任意數量的像素,以便將一個圖像覆蓋到另一個圖像上。例如,一旦識別了圖像對應630,實施例就可以識別特征點或對應的像素坐標。一旦識別出坐標,則實施例可以使用上述旋轉運動模型方法將分離式攝像頭圖像610疊加到集成式攝像頭圖像605。

      在一個情況下,運動模型635可以更復雜,例如以相似性變換模型的形式。

      圖7示出了可執行的另一對齊操作700,對齊操作700是為了對齊來自兩個圖像的內容,以便可以疊加內容以形成疊加圖像。

      集成式攝像頭圖像705包括紋理715。紋理715通常指關于包括在圖像中的顏色或強度的空間排列的信息。類似地,分離式攝像頭圖像710被示為包括紋理720。

      根據對齊操作700,實施例確定集成式攝像頭圖像705中的紋理715和/或分離式攝像頭圖像710中的紋理720不足以執行特征匹配或圖像對應匹配。例如,可能在兩幅圖像中的任何一幅中檢測到的特征點數量不足?;蛘?,可能檢測到足夠數量的特征點,但識別出的對應關系數量不足?;谶@一初始確定,實施例求助于或回退至對齊操作700,并利用由各種慣性測量單元(IMU)確定的預測或估計姿勢。

      具體地,生成集成式攝像頭圖像705的集成式攝像頭與第一IMU 725相關聯。類似地,生成分離式攝像頭圖像710的分離式攝像頭與第二IMU 730相關聯。所述實施例利用IMU 725來確定集成式攝像頭的姿勢和利用IMU 730來確定分離式攝像頭的姿勢。

      一旦估計或確定了兩個姿勢,實施例隨后使用這些姿勢將圖像的一個或多個部分彼此對齊。一旦對齊,則將一個圖像的一個或多個部分疊加到另一個圖像的相應部分上,以便生成增強的疊加圖像。

      名為“Dual system optical alignment for separated cameras”的微軟專利申請最初在2020年6月提交,并在日前由美國專利商標局公布。

    +1

    來源:映維網

    推薦文章

    免费国产黄在线观看,吃农村哺乳丰满妇女奶水,7788亚洲精品无码专区在线
      <form id="1rp55"><th id="1rp55"><progress id="1rp55"></progress></th></form>

      <noframes id="1rp55">

      <noframes id="1rp55"><address id="1rp55"></address>
      <listing id="1rp55"><listing id="1rp55"><menuitem id="1rp55"></menuitem></listing></listing>

      <address id="1rp55"></address><address id="1rp55"></address>