<form id="1rp55"><th id="1rp55"><progress id="1rp55"></progress></th></form>

    <noframes id="1rp55">

    <noframes id="1rp55"><address id="1rp55"></address>
    <listing id="1rp55"><listing id="1rp55"><menuitem id="1rp55"></menuitem></listing></listing>

    <address id="1rp55"></address><address id="1rp55"></address>

    科技魔方

    Meta Reality Labs首席科學家為AR眼鏡提出全新計算架構

    AR/VR

    2022年05月04日

      在2021年年底舉行的IEDM會議中,Meta Reality Labs的首席科學家邁克爾·亞伯拉什(Michael Abrash)闡述了為實現真正AR眼鏡而對計算架構提出的要求:為了將科幻作品所描述的AR眼鏡變成現實,當代計算架構需要如何發展?

      盡管現在市場已經出現了所謂的“AR眼鏡”,但它們依然非常笨重,或者功能不全。目前市面最優秀的AR設備HoloLens2和Magic Leap2離眼鏡形態依然遙遠,而且相當巨型,無法整天穿戴。

      亞伯拉什表示,如果要實現真正的眼鏡形態、全天續航和社會認可,行業需要“一系列根本性的進步,在某些情況下,硬件和軟件都需要范式轉變”。

      換句話說:Meta不認為當前的技術或任何一家廠商能夠實現科幻作品所設想的概念式眼鏡。但是,他們清楚這個目標需要什么。

      亞伯拉什在2021年舉行的IEDM 2021大會中提出了一種可以滿足真正AR眼鏡形態需求的的計算架構思考。

      1. 緊盯能耗走向

      重新思考計算架構的核心原因是行業需要大幅降低設備的功耗,從而滿足續航和散熱要求。

      亞伯拉什問道:“我們如何將(移動計算設備)的能效從根本上提高100倍甚至1000倍呢?這將需要對整個堆棧進行深入的系統級重新思考,對硬件和軟件進行端到端的聯合設計。重新思考的起點是看看當前的能耗走向。”

      他繪制了一張比較low-level計算操作的功耗。

      如圖所示,最耗能的計算操作是數據傳輸。這不僅僅意味著無線數據傳輸,甚至意味著將數據從設備內部的一個組件傳輸到另一個組件。另外,將數據傳輸到RAM的功率是基本單元的12000倍(在本例中是將兩個數字相加)。

      根據右邊的圓形圖,對于AR非常關鍵SLAM和手部追蹤,在RAM之間來回移動數據是能耗大戶。

      亞伯拉什指出:“顯然,對于諸如如輕型AR眼鏡這樣的低功耗應用,盡可能減少數據傳輸量至關重要。”

      為了實現這一點,他認為我們需要一種全新的計算架構,而不是在集中計算中心之間來回傳輸大量數據。我們需要更廣泛地將計算操作分布在整個系統中,從而最大限度地減少浪費性的數據傳輸。

      2. 在最意想不到的地方執行計算

      亞伯拉什表示,分布式計算架構的起點可以從AR眼鏡感知用戶周圍世界所需的眾多攝像頭開始:在通過耗能大的數據傳輸通道僅發送最重要的數據之前,由攝像頭傳感器本身進行一定的初步計算。

      為了實現這一點,可以采用共同設計的硬件和軟件,在進行硬件設計時可以考慮一個本質上是硬連接到攝像頭傳感器本身,并允許在任何數據離開傳感器之前執行一定操作的特定算法。

      這位首席科學家指出:“對最低功耗、最佳功能和最小可能形狀參數的要求,令XR傳感器成為了圖像傳感器行業的新前沿。”

      3. Domain-Specific傳感器

      他同時透露,Reality Labs已經開始了這方面的工作,甚至已經創建了一個專門為AR眼鏡的低功耗高性能需求而設計的攝像頭傳感器原型。

      所述傳感器采用一組所謂的數字像素傳感器,其能夠在三種不同的光照水平下同時捕獲每個像素的數字光值。每個像素都有自己的內存來存儲數據,并且可以決定報告三個值中的哪一個,而不是將所有數據發送到另一個芯片來完成這項工作。

      亞伯拉什指出,這不僅降低了功耗,而且大大增加了傳感器的動態范圍(它能夠在同一幅圖像中捕捉昏暗和明亮的光線)。為了展示動態范圍的提升,他分享了原型傳感器拍攝的樣本圖像,并與典型傳感器進行了對比。

      在左邊的圖像中,明亮的燈泡導致攝像頭無法捕捉大部分場景。另一方面,右邊的圖像不僅可以看到燈泡燈絲的極端亮度細節,而且可以看到場景的其他部分。

      這種寬動態范圍對于未來AR眼鏡的傳感器至關重要,因為AR眼鏡需要支持室內弱光條件,又要兼容晴天環境。

      亞伯拉什表示,盡管Meta的原型傳感器具有HDR的優點,但它的能效要高得多,每秒30幀的速度僅使用5兆瓦(他聲稱低于典型傳感器的25%)。而且它的可擴展性非常優秀:盡管需要更多的能耗,但傳感器可以每秒捕獲480幀。

      但是,Meta希望更進一步并在傳感器執行更復雜的計算:“例如,眼動追蹤和手部追蹤等XR工作負載的深層神經網絡分割和分類的淺層部分可以在傳感器端實現。”

      但他強調,在更多硬件創新出現之前(比如開發“真正的on-sensor機器學習計算”所需的超密集、低功耗內存),這不可能實現。

      盡管Meta正在試驗所述技術,但亞伯拉什表示整個行業都需要團結起來,從而真正實現這一目標。他特別指出:“芯片制造商對MRAM技術的開發是構建AR眼鏡的關鍵因素。”

      他最后總結道:“在一個端到端的系統中,通過將我們提出的分布式架構和我所描述的相關技術結合在一起,其在功率、面積和形狀參數方面都有巨大的改進潛力。要變得足夠舒適和實用,并成為10億人日常生活的一部分,這種提升非常有必要。”

    +1

    來源:映維網

    推薦文章

    免费国产黄在线观看,吃农村哺乳丰满妇女奶水,7788亚洲精品无码专区在线
      <form id="1rp55"><th id="1rp55"><progress id="1rp55"></progress></th></form>

      <noframes id="1rp55">

      <noframes id="1rp55"><address id="1rp55"></address>
      <listing id="1rp55"><listing id="1rp55"><menuitem id="1rp55"></menuitem></listing></listing>

      <address id="1rp55"></address><address id="1rp55"></address>