<menu id="kei0a"><strong id="kei0a"></strong></menu>
  • <menu id="kei0a"></menu>
  • <dd id="kei0a"></dd>
  • <menu id="kei0a"><strong id="kei0a"></strong></menu>
    科技魔方

    微軟專利為AR/VR提出基于映射約束特征的行人航位推算

    AR/VR

    2022年01月04日

      傳統的混合現實頭顯通常依靠外感知傳感器數據來追蹤設備軌跡,例如視覺追蹤數據和GPS數據等。但在一系列的環境中,外感知能力無法應用、不可靠或不精確。所以,眾多混合現實設備依賴于僅由內感知傳感器提供的處理數據來估計設備軌跡。

      航位推算是一種可用于確定設備位置的過程,不需要采用外部感知傳感器數據。具體來說,在知道當前時刻位置的條件下,航位推算法可以通過加速度計、數字羅盤、陀螺儀來測量移動的距離和方位,然后推算下一時刻的位置。

      航位推算算法最初用于車輛和船舶等的航行定位,但隨著微機電系統技術的發展,以及加速度計、數字羅盤、陀螺儀在尺寸、重量和成本方面的大大降低,航位推算開始逐漸普及到其他用例,比如說混合現實。

      然而,當前的航位推算模式存在不少缺點,例如漂移(真實位置和預測位置之間的誤差越來越大)、計算成本高,以及未能說明每個用戶和/或每個設備的特征等等。

      針對這個問題,微軟在名為“Pedestrian dead reckoning using map constraining features”的專利申請中提出了一種基于映射約束特征的行人航位推算。

      為了解決上面討論的問題,圖1示出的計算機系統10從服務器設備接收的預定映射數據中使用行進約束特征以執行行人航位推算(PDR)。行程約束特征可以用于緩解PDR期間可能發生的漂移,并可能為在城市環境中實現追蹤提供潛在幫助。

      在一個實施例中,檢測行人航位推算模式觸發條件,以及響應于檢測行人航位推算模式觸發條件,從計算設備的一組或多個慣性追蹤組件獲得一組慣性追蹤數據。在一個實施例中,所述方法同時包括獲得計算設備的估計三自由度速度。

      在一個實施例中,當處于行人航位推算模式時,計算設備配置成至少部分基于訓練的預測模型來估計設備的六自由度定位。

      在一個實施例中,當處于行人航位推算模式時,設備從諸如陀螺儀和/或指南針這樣的一組或多個慣性追蹤組件中獲取慣性追蹤數據,并且同時獲取設備的估計三自由度速度,以作為預測模型的輸出。響應于從慣性追蹤數據集獲得的慣性追蹤數據的第一子集,提供三自由度速度作為輸出,以作為預測模型的輸入。

      在一個實施例中,預測模型是根據一組訓練數據訓練的預測模型,包括外感知傳感器數據(例如GPS或無線電定位數據、以及視覺追蹤數據等)和慣性追蹤數據。在一個實施例中,預測的三自由度速度和/或預測模型同時可用于將估計的三自由度速度與基于慣性追蹤數據集的慣性追蹤數據的第二子集融合,從而獲得計算設備的估計六自由度定位。

      在一個實施例中,專利描述的方法同時包括通過融合計算設備的估計三自由度速度和估計三自由度旋轉,從而獲得計算設備的估計六自由度定位,這時無需獲得通過計算設備的外感知傳感器系統所獲取的外感知傳感器數據。計算設備的估計三自由度旋轉是基于慣性追蹤數據集。

      微軟指出,可以向神經網絡提供訓練數據,以提供基于深度學習的航位推算模式,從而提高系統的精度。

      在一個實施例中,頭顯配置為向神經網絡提供訓練數據,以訓練用于估計六自由度定位的預測模型。在這類實施例中,頭顯包括一組慣性追蹤組件,例如加速計、陀螺儀和/或指南針中的至少一個。慣性追蹤組件配置為生成慣性追蹤數據。頭顯同時包括配置為生成外感知傳感器數據的外感知傳感器系統,一個或多個處理器,以及一個或多個計算機可讀介質。

      在一個實施例中,當計算設備不處于行人航位推算模式時,從一個或多個慣性追蹤組件組獲取一組慣性追蹤數據。同時,獲取外感知傳感器數據(例如視覺定位數據或基于無線電的定位數據,GPS數據等),然后向神經網絡提供所述數據以訓練預測模型。訓練數據包括(1)作為輸入的慣性追蹤數據集和(2)與外感知傳感器數據融合的慣性追蹤數據的至少一部分(作為ground truth值輸出)。

      如圖1所示,服務器設備14配置為存儲映射數據的數據庫50。除用于常規映射功能的其他映射數據外,數據庫50包括預定映射信息52,其包括行程約束地圖特征54??梢陨深A定映射信息52并將其存儲在服務器設備14。服務器設備14可以包括現實世界中不同位置的預定映射信息52。服務器設備14可以配置成與用于計算機設備12的映射和導航功能的其他常規映射數據一起發送預定映射信息52。預定映射信息52可以通過WAN(例如,手機數據信號、無線通信網絡等)發送到計算機設備12。

      計算機設備12可以配置為接收計算機設備12的初始位置48的預定映射信息52。在一個示例中,當用戶行進到真實世界中的不同位置時,使用預定映射信息52更新計算機設備12。預定映射信息52包括位于初始位置48附近的行進約束映射特征54。

      行進約束映射特征54可包括許多不同類型的行進約束特征,例如,地形地圖的拓撲、行進約束邊界、平面圖數據、眾包交通定義路徑、附近真實世界環境的密集3D重建等等。所述行進約束映射特征54可用于限制或約束基于航向和速度測量46估計的可用航向和速度值,以緩解潛在漂移誤差。

      PDR模塊44可以配置為至少基于來自慣性測量單元30和計算機設備12的羅盤設備28的測量46,從初始位置48確定多個候選航向和速度值56。IMU 30和指南針28的精度可能有限。

      另外,用戶的步態可能不同于用于計算用戶運動的默認或預定步態。PDR模塊44可配置為確定可從測量46和步態計算估計的航向和速度值解的潛在方差。以這種方式,PDR模塊44可以生成估計方差內的多個候選航向和速度值56。

      候選航向和速度值56可由PDR模塊44的概率框架58處理,以確定每個候選航向和速度值56的概率,所述概率指示計算機設備12的用戶實際以每個候選航向和速度值旅行的可能性56。在一個示例中,概率框架58實現基于候選航向和速度值56確定的計算機設備12的位置和方向狀態的隱馬爾可夫模型。

      作為具體示例,概率框架58可以實現粒子濾波框架。粒子濾波框架以統計方式更新候選航向和速度值56的預測。分布中的樣本可用一組粒子表示。每個粒子可以具有分配給該粒子的似然權重。

      PDR模塊44可配置為使用概率框架58確定多個候選航向和速度值56中的每一個的概率。概率框架58(例如可以是粒子濾波框架)配置為將較低的概率分配給與預定映射信息52的行進約束映射特征54沖突的候選航向和速度值56。

      另一方面,與行進約束映射特征54不沖突或沖突較少的候選航向和速度值56可以分配更高的概率。應當理解,隨著計算機設備12用戶在現實世界中繼續移動,候選航向和速度值56的概率可以以統計方式更新。

      PDR模塊44可進一步配置為基于確定的概率對多個候選航向和速度值56進行排序。換句話說,由概率框架58分配的最高概率的候選航向和速度值可以分配最高秩。然后,PDR模塊44可以配置為基于排名最高的候選標題和速度值62來追蹤計算機設備12的位置60。

      追蹤位置60可以基于新的航向和速度測量46持續更新,并更新為候選航向和速度值56確定的概率。追蹤位置60隨后可經由計算機設備12的輸出裝置(例如顯示裝置24)呈現給用戶。

      圖3示出了包括行進約束邊界56形式的行進約束映射特征54的預定映射信息52的示例。在這個具體示例中,行進約束邊界56由二維映射60的二維線段58表示。二維線段58指示由二維映射60表示的城市環境的各種道路和人行道的邊界。在所述示例中,用戶可能沿著二維映射60中道路的人行道行走,并且不太可能沿著穿過城市環境建筑物的路徑行走。

      因此,代表道路的二維線段58可用作行駛約束邊界64,以限制或約束可用的候選航向和速度值56。具體地,概率框架58可配置為將較低的概率分配給穿過行進約束邊界64的候選航向和速度值56,并將較高的概率分配給不穿過行進約束邊界64的候選航向和速度值56。

      圖3示出了傳統PDR系統與由計算機設備12的處理器16執行的PDR模塊44之間的比較。如圖所示,傳統PDR系統可能具有超出道路邊界和拐角的無約束解(由圓表示)。以這種方式,在傳統PDR系統中,漂移誤差將潛在地不被校正,這將導致邏輯上不正確的估計位置,例如用戶穿過建筑物的墻壁。

      另一方面,PDR模塊44配置為將候選航向和速度值56約束或限制為不會導致違反行進約束邊界64的解決方案的值。以這種方式,計算機設備12的追蹤位置60將跟隨由行進約束邊界64指示的路段。PDR模塊44的結果追蹤位置(由正方形表示)將在邏輯上約束到預定映射信息52的特定特征。

      圖4包示出了沿圖3所示路線的特定時刻的三個候選航向和速度值的概率的示例計算。在快照66中,PDR模塊44正在估計當前追蹤位置76的三個候選航向和速度值70、72和74的概率68。

      如圖所示,第一個候選航向和速度值70以及第三個候選航向和速度值74將產生可能跨越行進約束邊界64的解。另一方面,第二候選航向和速度值72將產生不跨越行進約束64的解。因此,概率框架58可配置為將較低概率分配給第一和第三候選航向和速度值70和74,并將較高概率分配給第二候選航向和速度值72。

      在圖5中,行進約束邊界64由計算機設備12初始位置48附近表面的三維網格78表示。具體地,示出了沿人行道的柵欄的三維網格78。在正常步行過程中,使用者不太可能穿過或越過圍欄。因此在此示例中,圍欄可被視為行進約束邊界。服務器設備14可配置為存儲真實世界對象的表面的三維網格78。三維網格78可以通過任何合適的技術生成。

      在一個示例中,三維網格78可以由頭顯設備配置中的計算機設備12生成。換句話說,使用由外向攝像頭36捕獲的圖像,頭顯設備配置中的計算機設備12可以重建包括柵欄的真實世界環境的表面??梢陨上鄳娜S網格78并將其發送到服務器設備14,并將其作為預定映射信息52存儲在數據庫50中。

      當執行PDR時,計算機設備12可以結合預定映射信息52從服務器設備14接收三維網格78。換句話說,邊界(例如柵欄、水、建筑物等)可以在具有行進約束邊界數據的二維映射和包括三維網格78的三維內容中表示。

      如圖5所示,PDR模塊44可配置為確定候選航向和速度值56是否會產生穿過或朝向三維網格78表面的解。概率框架58可配置為將較低的概率分配給將與三維網格78交叉、碰撞或以其他方式沖突的候選航向和速度值56。

      在所示示例中,第四個候選航向和速度值80將導致與三維網格78碰撞的解。因此,概率框架58可配置為向第四候選航向和速度值80分配比第五候選航向和速度值82更低的概率。

      通過上面描述的方式,系統可以實現更精確的導航。名為“Pedestrian dead reckoning using map constraining features”的專利申請最初在2020年6月提交,并在日前由美國專利商標局公布。

    +1

    來源:映維網

    推薦文章

    肉H文老师好紧好大好爽
    <menu id="kei0a"><strong id="kei0a"></strong></menu>
  • <menu id="kei0a"></menu>
  • <dd id="kei0a"></dd>
  • <menu id="kei0a"><strong id="kei0a"></strong></menu>