<menu id="kei0a"><strong id="kei0a"></strong></menu>
  • <menu id="kei0a"></menu>
  • <dd id="kei0a"></dd>
  • <menu id="kei0a"><strong id="kei0a"></strong></menu>
    科技魔方

    高通專利為AR/VR頭顯佩戴用戶提供自拍解決方案

    AR/VR

    2022年08月14日

      通過諸如智能手機等設備進行自拍或者請求別人為自己拍照十分輕松。但對于XR頭戴式系統而言,由于形狀參數的固有限制,生成一種自拍圖像或者生成一種看似由他人拍攝的圖片可能十分具有挑戰性。

      在名為“Image capturing in extended reality environments”的專利申請中,高通就提出了一種解決方案。

      簡單來說,用戶可以“左手臂前伸,手指擺出V字勝利手勢,并且露齒笑嘴角上揚”。這時,可以利用頭顯的朝外攝像頭拍攝用戶手臂前伸的手指V字姿勢和現實世界場景,并通過頭顯的朝內攝像頭拍攝用戶的面容表情。然后,再通過機器學習模型整合成完整的姿勢,并形成一種看似自拍,或者是由他人拍攝的圖片感覺。

      但需要注意的是,由于身體姿勢必須前伸以置于朝外攝像頭視場之內,并且由于頭顯的固有遮擋限制,朝內攝像頭無法確切完整地捕獲面容,疊加機器學習模型的性能問題,所以最終合成的圖像無法精準表達用戶的姿勢表情。換句話說,這種方法存在自己的限制。

      在一個實施例中,自我圖像捕獲系統可以包括自我圖像啟動引擎、Avatar引擎、背景幀引擎和合成引擎。自我圖像幀可以對應于“自拍圖片”或“自拍視頻”。

      自我圖像啟動引擎可以檢測與自拍圖片或自拍視頻過程類似的用戶輸入,例如語音命令、手勢輸入以及其他類型的輸入?;跈z測到用戶輸入,自我圖像捕獲系統可以啟動自圖像捕獲過程中的下一操作。

      在一個示例中,Avatar引擎可以確定用戶姿勢。用戶姿勢可以包括和/或對應于用戶的身體特征。例如,用戶姿勢可以包括用戶當前的表情、情感、手勢、肢體位置等中的一個或多個。另外,用戶姿勢可以包括和/或對應于用戶在真實世界環境中的物理位置。Avatar引擎可以使用各種追蹤和/或掃描技術和/或算法來確定用戶姿勢。例如,Avatar引擎3以使用一種或多種眼動追蹤技術、SLAM技術、六自由度定位技術、身體追蹤技術、面部表情追蹤技術、計算機視覺技術、其任何組合或其他追蹤和/或掃描技術來確定用戶姿勢。

      接下來,Avatar引擎可以生成反映用戶姿勢的用戶Avatar。需要注意,“Avatar”可以包括用戶全部或部分的任何數字表示。在一個示例中,用戶的Avatar可以包括計算機生成圖像數據??蛇x地,用戶的Avatar可以包括由圖像傳感器捕獲的圖像數據。另外,用戶的Avatar可以對應于用戶的抽象(例如卡通)表示或用戶的照片真實表示。

      在一個實施例中,Avatar引擎可以使用一個或多個機器學習系統和/或算法生成Avatar。例如,Avatar引擎可以基于使用機器學習算法對與各種用戶姿勢相關聯的圖像數據訓練的機器學習模型來生成Avatar。例如,Avatar引擎可以捕獲用戶的一個或多個圖像,例如用戶的全身圖像?;诓蹲降降挠脩糇藙莺陀脩舻囊粋€或多個圖像,機器學習模型可以輸出姿勢與用戶相似的Avatar。例如,如果捕捉到的用戶姿勢包括特定手勢(例如“勝利手勢”),則機器學習模型可以輸出與做出特定手勢的用戶相似的Avatar。

      在一個實施例中,背景幀引擎可以捕獲一個或多個背景幀。背景幀可以包括和/或對應于將成為自我圖像的背景的任何幀。

      基于由Avatar引擎生成的Avatar和由背景幀生成的背景幀,合成引擎可以生成自我圖像幀(或一系列自我圖像幀)。例如,合成引擎可以將生成的Avatar疊加到背景幀。如上所述,Avatar引擎可以確定與用戶姿勢相對應的用戶3D位置。因此,合成引擎可以將Avatar疊加在相應位置的背景幀內。通過這種方式,AR/VR頭顯就可以生成看似自拍或者看似由他人拍攝的圖像感覺。

      如圖4A-4C所示。在圖4A中,穿戴VR頭顯的用戶可以前伸左手并擺出V字勝利手勢。這時,系統可以通過頭顯的前置攝像頭拍攝左手前伸并且手指擺出V字勝利手勢的圖像,以及周遭環境的背景圖像。同時,系統可以確定頭顯用戶在環境中的特定位置。

      然后,Avatar引擎可以渲染Avatar318。同時,Avatar引擎304可以使用不同的機器學習模型來生成Avatar318(A)和318(B)。在一個示例中,Avatar引擎304(A)可以使用低保真度機器學習模型生成Avatar318(A),并使用高保真都模型生成Avatar318(B),如圖4B和4C所示。換句話說,Avatar318(B)可以是Avatar318的高保真版本,一種更接近于圖片真實感的版本。

      然后,合成引擎308可以在生成自圖像幀316時用Avatar318(A)或Avatar318(B)疊加到對應于用戶在環境中的位置。

      名為“Image capturing in extended reality environments”的高通專利申請最初在2021年2月提交,并在日前由美國專利商標局公布。

    +1

    來源:映維網

    推薦文章

    肉H文老师好紧好大好爽
    <menu id="kei0a"><strong id="kei0a"></strong></menu>
  • <menu id="kei0a"></menu>
  • <dd id="kei0a"></dd>
  • <menu id="kei0a"><strong id="kei0a"></strong></menu>