<menu id="kei0a"><strong id="kei0a"></strong></menu>
  • <menu id="kei0a"></menu>
  • <dd id="kei0a"></dd>
  • <menu id="kei0a"><strong id="kei0a"></strong></menu>
    科技魔方

    阿里、中科院研究團隊提出可編輯性NeRF渲染NeRF-Editing

    AR/VR

    2022年05月20日

      英偉達曾在年初展示了名為Instant NeRF的人工智能技術:只需數秒即可將數十張2D照片快速轉換成3D渲染場景。這種于2020年興起的技術原本需要多個小時,甚是多天時間進行訓練,但所述技術能夠將其縮短至最快只需5秒。

      Instant NeRF;視頻源:B站用戶knnstack

      這種插值不僅可以生成靜態場景,而且NeRF能夠描繪運動,并進行基本的“復制粘貼”編輯。其中,單個NeRF可以整理成合成場景,或者插入現有場景。

      但如果希望干預一個計算NeRF,并如同改變傳統CGI場景元素一樣實際改變內里發生的一切,行業迄今為止都尚未提出太多的解決方案,甚至沒有一個能與CGI工作流程相匹配。

      盡管幾何體估計對于創建NeRF場景至關重要,但最終結果由相當“鎖定”的值組成。當然,在NeRF中改變紋理值已經取得了一定的進展。不過,NeRF場景中的實際對象不是可以進行編輯和播放的參數網格。

      在這種場景中,在NeRF中渲染的對象就本質而言是一尊雕像,或者說一系列的雕像。它們投射在自身和其他對象的陰影是紋理,而不是基于光源的靈活計算。NeRF內容的可編輯性僅限于拍攝稀疏源照片的攝影師所做的選擇。所以,陰影和姿勢等參數都是不可編輯。

      針對所述問題,由中國科學院、中國科學院大學、卡迪夫大學和阿里巴巴組成的團隊提出了NeRF-Editing。

      NeRF-Editing概述

      簡單來說,當前基于NeRF的方法無法在場景中執行用戶控制的形狀變形。盡管現有的研究已經提出過根據用戶約束修改輻射場的方法,但修改僅限于顏色編輯或對象平移和旋轉。NeRF-Editing則允許用戶在場景的隱式表示執行可控的形狀變形,并在不重新訓練網絡的情況下合成編輯場景的新視圖圖像。

      研究人員在提取的目標場景的顯式網格表示和隱式神經表示之間建立了對應關系。用戶可以首先利用發展良好的基于網格的變形方法來變形場景的網格表示。然后,NeRF-Editing利用來自網格表示的用戶編輯,并通過引入四面體網格作為代理來彎曲camera光線,從而獲得編輯場景的渲染結果。

      所述方法采用了提取Signed Distance Function(SDF)的NeuS。SDF對象可以成為用戶的雕刻基礎,而As-Rigid-As-Possible (ARAP))提供的翹曲和成型功能則允許用戶對提取的SDF網格進行變形。

      ARAP允許用戶變形提取的SDF網格

      應用變形后,有必要將信息從矢量轉換為NeRF固有的RGB/pixel level。用戶變形的網格三角形頂點首先轉化為四面體網格,四面體網格在用戶網格周圍形成蒙皮。從這個附加網格中提取空間離散變形場,最終得到一個對NeRF友好的連續變形場。連續變形場可以傳回神經輻射環境,反映用戶的更改和編輯,并直接影響目標NeRF中的解釋光線。

      團隊提出的方法可以變形和動畫化對象

      研究人員指出,大量實驗表明,這個框架不僅可以對合成數據進行編輯,而且可以對用戶捕獲的真實場景進行編輯。

      即使手臂向上移動,人物手臂的水平陰影依然保持不變

      當然,團隊坦誠這個方法存在局限性。例如,變換后的幾何體不會“更新”NeRF中未編輯的任何相關方面,同時不會反映變形元素的次要后果,例如陰影。研究人員提供了一個例子:即使手臂向上移動,人物手臂的水平陰影依然保持不變,如上圖所示。

      為了將來的研究,團隊計劃在just-in-time(JIT)編譯的機器學習框架Jittor中開發他們的系統。

    +1

    來源:映維網

    推薦文章

    肉H文老师好紧好大好爽
    <menu id="kei0a"><strong id="kei0a"></strong></menu>
  • <menu id="kei0a"></menu>
  • <dd id="kei0a"></dd>
  • <menu id="kei0a"><strong id="kei0a"></strong></menu>