<menu id="kei0a"><strong id="kei0a"></strong></menu>
  • <menu id="kei0a"></menu>
  • <dd id="kei0a"></dd>
  • <menu id="kei0a"><strong id="kei0a"></strong></menu>
    科技魔方

    微軟專利分享為HoloLens熱成像效果提供選擇性著色技術

    AR/VR

    2022年06月27日

      環境對象的相對溫度可以通過熱圖像來估計。熱圖像的像素可以對熱強度值進行編碼,該值表示熱攝像頭從環境對象接收的熱能相對量。計算系統可用于促進微光視覺,和/或在微光環境中識別和突出顯示對象。

      為了說明這一點,圖1A示意性地描繪了夜間的真實世界環境100,包括用戶102。真實世界環境還包括各種人體對象104A、104B和104C,以及車輛106和熱源108。由于熱源發光,所以在真實世界環境中可以輕松看到,但真實世界環境100中的其他對象和特征對人類102而言難以看到或基本不可見。

      然而,用戶102可以配備頭戴式顯示設備110。頭顯可以對真實世界環境進行成像。在一個示例中,頭顯可以包括一個熱攝像頭,熱攝像頭配置為接收和編碼真實世界環境對象的熱能。

      基于來自熱攝像頭的輸入,頭顯可以生成熱圖像,其中熱圖像中的像素值對應于由像素成像的真實世界環境對象的相對溫度值。通過在近眼顯示器上顯示這樣的熱圖像,頭顯可以允許用戶更清楚地看到現實世界環境中難以感知的對象。

      如圖所示,圖1B包括對應于顯示圖像116的四個單獨顯示像素的像素值118。在所述示例中,相對較高的像素值對應于較高的相對溫度值,并且在顯示圖像中用較淺的陰影直觀地表示。但在其他示例中,相對溫度值可以以其他合適的方式在顯示圖像中直觀地表示。

      在圖1B的示例中,熱圖像是灰度圖像,并且具有相對較高溫度的對象以比具有相對較低溫度的對象更淺的陰影顯示。在實際示例中,可以使用人工顏色梯度對熱圖像進行著色,以使相對溫度的差異更加明顯。例如,相對較冷的溫度可以用藍色著色,而較熱的溫度可以用紅色著色。

      然而,盡管這種著色可以有效地將用戶的注意力吸引到環境中最熱的對象上,但從用戶的角度來看,最熱的對象可能并不總是最有趣或最重要的對象。

      例如在圖1B中,熱源108具有最高的相對溫度,所以用最淺的陰影表示。因此,熱源108可能比人類104A-104C和車輛106更容易被用戶102看到。然而,對于用戶102來說,人體和車輛的可見性比熱源的可見性更重要,尤其是在軍事或安全應用中。

      在名為“Object of interest colorization”的專利申請中,微軟就介紹了一種針對目標對象的選擇性著色技術。

      具體地,計算系統可以接收輸入圖像,并將輸入圖像的一組輸入感興趣像素分類為對應于具有可識別類別的感興趣對象。例如,所識別的感興趣對象可以是人類主體。然后,計算系統可以生成與輸入圖像相對應的顯示圖像,顯示圖像具有與輸入興趣像素集相對應的顯示興趣像素。在顯示之前,計算系統可以使用基于感興趣對象的識別類別選擇的顏色對顯示感興趣像素著色。

      例如,與檢測到的人類相對應的像素可以用相同的顏色著色,而不管人類的溫度與周圍環境中的其他對象相比如何。通過這種方式,可以保持與熱圖像相關的低光可見度優勢,同時可以在視覺上強調被認為更重要的對象,不管其溫度如何。

      圖2示出了用于圖像彩色化的示例方法200。在202,方法200包括從攝像頭接收包括多個輸入圖像像素的輸入圖像。這參照圖3示意性地示出,圖3示出了再次描繪真實世界環境100的輸入圖像300。輸入圖像可以由包括一個或多個攝像頭的任何合適的攝像系統接收。

      值得注意的是,“輸入圖像”可以與隨后著色并視覺呈現以供顯示的“顯示圖像”相同。所以,“生成”顯示圖像可以包括對捕獲的輸入圖像進行著色,和/或對輸入圖像執行其他后處理。但在其他示例中,顯示圖像可能不同于輸入圖像,并且可能由不同的攝像頭拍攝。所以,“生成”顯示圖像可以包括捕捉顯示圖像,類似于輸入圖像。

      例如,輸入圖像可以是可見光圖像,而顯示圖像可以基于對不可見光波長敏感的相機的輸出生成。如上所述,顯示圖像可以是由熱攝像頭捕獲的熱圖像,在這種情況下,不可見光波長可以包括紅外(IR)光。因此在各種示例中,輸入圖像可以是可見光圖像而顯示圖像是熱圖像,或者輸入圖像可以是熱圖像而顯示圖像是可見光圖像。在輸入圖像和顯示圖像不同的情況下,可以執行圖像注冊以對齊輸入圖像和顯示圖像,從而減輕由捕捉輸入圖像和顯示圖像的攝像頭之間的物理分離引起的任何視差效應。

      但在任何情況下,輸入圖像和顯示圖像都可以由任何合適的攝像頭捕捉,如圖4中的頭顯400所示。

      無論輸入圖像的性質如何,同時無論用于捕獲輸入圖像的攝像頭類型如何,都可以分析輸入圖像以檢測感興趣對象。

      因此請返回到圖2,在204,通過經過機器學習訓練的分類器將多個輸入圖像像素中的一個或多個分類為與感興趣對象相對應的一組輸入感興趣像素。“輸入興趣像素”是指由分類器識別為描繪感興趣對象的輸入圖像的任何像素??梢砸匀魏魏线m的方式定義輸入興趣像素集,例如定義包圍興趣對象的邊界框的像素網格,或標識為描述興趣對象的不規則像素塊。

      參考圖3示意性地示出了感興趣對象的識別。如圖所示,將機器學習訓練分類器302應用于輸入圖像300,以將輸入圖像的輸入圖像像素分類為與感興趣對象相對應的一組輸入興趣像素。具體而言,分類輸入興趣像素是描繪人類主體104A(本示例中的興趣對象)的像素,并且興趣對象的識別類306包括人類。

      在一個實施例中,可以在同一輸入圖像中識別多個感興趣的對象。換言之,機器學習訓練的分類器可以將一個或多個圖像像素分類為與第二感興趣對象相對應的第二組輸入感興趣像素,第二感興趣對象可以具有與第一感興趣對象相同的識別類,或者具有不同的識別類。

      在圖3的示例中,機器學習訓練分類器將輸入圖像的附加圖像像素分類為附加的輸入興趣像素集。具體地,人類主體104B同樣分類為感興趣對象,具有與人類主體104A相同的公認類別306。車輛106分類為另一個關注對象,具有包括車輛的不同識別類別304。

      任何合適的機器學習和/或人工智能技術都可用于實現經過機器學習訓練的分類器。參考圖7描述合適的機器學習和/或人工智能技術的示例。通常,經過機器學習訓練的分類器可以采用合適的軟件模塊的形式。其中,軟件模塊接收一個或多個圖像作為輸入數據,并將一個或多個圖像內的像素集識別為對應于一個或多個感興趣的對象。

      在各種示例中,不同的機器學習訓練分類器可用于識別具有不同類別的感興趣對象,和/或可應用于不同類型的輸入圖像。另外,專利主要假設機器學習訓練的分類器將應用于輸入圖像。在輸入圖像和顯示圖像不同的情況下,當一個或多個機器學習分類器應用于輸入圖像和顯示圖像時,可以改進感興趣對象的檢測。換句話說,與僅使用一種圖像類型相比,將熱圖像數據與可見光圖像數據結合使用可以改進感興趣對象的檢測。

      回到圖2,在206,生成包括與多個輸入圖像像素相對應的多個顯示圖像像素的顯示圖像。如上所述,“生成”顯示圖像可以包括捕獲顯示圖像或從另一個源接收顯示圖像。生成顯示圖像還可以包括處理輸入圖像。在輸入圖像和顯示圖像相同的情況下,在捕獲輸入圖像時生成顯示圖像。圖1B的圖像116是顯示圖像的一個示例,并且對應于圖3的輸入圖像300。

      如上所述,多個顯示圖像像素中的每個具有基于由顯示像素成像的真實世界環境中的對象的相對溫度值確定的像素值。在圖1B中,給出了顯示圖像的四個顯示圖像像素的示例像素值118。

      在輸入圖像和顯示圖像是相同圖像的情況下,顯示圖像像素將固有地與輸入圖像像素相同。然而,在輸入圖像和顯示圖像不同的情況下,所述多個顯示圖像像素依然對應于所述多個輸入圖像像素,使得所述顯示圖像像素包括一組或多組顯示興趣像素,所述顯示興趣像素對應于在所述輸入圖像中識別的任何一組輸入興趣像素。

      換句話說,計算系統確定或維護將每個單獨的輸入圖像像素與描述真實世界環境的相同部分的顯示圖像像素相關聯的映射。

      圖5再現了輸入圖像300的部分500A以及顯示圖像116的相應部分500B,每個部分描繪了人類對象104A。計算設備識別圖像部分500A和500B之間的多個像素到像素對應502。

      這類通信可以任何適當的方式進行識別。如上所述,輸入圖像和顯示圖像可以由單獨的攝像頭(例如攝像頭410和412)捕獲。在這種情況下,可以執行圖像配準以對齊兩個圖像,并減輕由兩個攝像頭的位移引起的任何視差效應。

      例如,當兩個攝像頭的相對位置和透視圖已知時,每個攝像頭捕獲的圖像的像素可以投影到公共參考幀中。以這種方式,可以確定一個圖像(例如圖像300)的哪些像素對應于與另一個圖像(例如圖像116)相同的真實世界特征。

      回到圖2,在208,使用基于感興趣對象的識別類別選擇的顏色對顯示感興趣像素集進行著色,以給出彩色顯示圖像。值得注意的是,所選顏色獨立于由顯示感興趣像素的像素值給出的感興趣對象的相對溫度值。

      這在圖6中進行了示出。圖6示出了示例彩色顯示圖像600。具體地,圖像600是圖6的顯示圖像116的彩色版本。著色后,人類104A現在顯示為白色,而著色前,使用基于人類相對于真實環境中其他物體的相對溫度的灰度填充圖案來表示。換句話說,假設圖6是灰度圖,則白色用于指示感興趣對象的著色。在其他實施例中,可以有益地使用明亮或對比色,以增加感興趣對象相對于圖像其余部分的可見性。

      值得注意的是,盡管人類104A在顯示圖像600中著色,但顯示圖像的其他元素沒有被著色。特別地,熱源108依然顯示有光填充圖案,指示其相對于真實世界環境中的其他對象相對較高的溫度。類似地,地面、樹木、天空和背景山依然使用與非彩色顯示圖像中相同的相對較暗填充圖案顯示。因此,彩色顯示圖像依然傳達關于真實世界環境中對象的相對溫度值的信息,同時更多地關注被識別為更重要的感興趣對象。

      在一個實施例中,顯示圖像106中同時對人類對象104B和車輛106進行彩色化。由于人類104B與第一感興趣對象(即人類104A)具有相同的識別類別,因此人類104B可以同樣顯示為白色,以指示其使用相同的選定顏色著色。相比之下,車輛106具有不同的識別類別,因此使用不同的選定顏色進行著色。如圖6所示,可以使用棋盤格填充圖案。同樣,假設圖6是灰度圖,則灰度填充圖案用于表示不同的顏色。

      圖3的輸入圖像300描繪了與人類104A和104B不同的人類104C。在這個示例中,人類104C被機器學習訓練的分類器302識別為類306。這是因為人類104C有一部分被樹木遮擋,這干擾了分類器將其識別為人類。然而,在圖1B的顯示圖像116中,假設每個人類對象具有相似的相對溫度值,則人類對象104C以與人類對象104A和104B相同的灰度填充圖案示出。

      通過在具有相似相對溫度值的對象可能對應于相同識別類別的假設下操作,即使部分被遮擋,計算系統都可以將人類104C識別為另一個感興趣對象。

      換言之,計算系統可以將相對溫度值在第一組顯示感興趣像素(例如描繪人類對象104A)的閾值相似性內的第二組顯示感興趣像素(例如描繪人類對象104C)識別為對應于第二感興趣對象。然后,可以適當地對新識別的顯示興趣像素著色。例如在圖6中,與描繪人類對象104A和104B的像素一樣,可以將對應于人類對象104C的顯示興趣像素著色為白色。

      可以使用任何合適的相似性閾值。例如,計算系統可以使用90%的相似性閾值。另外,計算系統可能在識別機器學習訓練分類器未識別的新感興趣對象之前考慮熱相似性以外的信息。作為示例,計算系統可以考慮顯示像素塊的大小和/或形狀。

      換句話說,如果顯示像素塊與已經識別的感興趣對象具有高度的熱相似性,但尺寸和/或形狀顯著不同,則考慮中的顯示像素塊相對不太可能對應于相同識別類別的感興趣對象。相比之下,如果尺寸和/或形狀相對更相似,則匹配的可能性相對更大。

      在一個實施例中,在基于與第一感興趣對象的熱相似性識別第二感興趣對象之后,與第二感興趣對象相對應的第二組顯示感興趣像素可用于重新訓練機器學習訓練的分類器。一般來說,機器學習訓練的分類器可以使用有監督或無監督學習對訓練數據集進行訓練。因此,可以將第二組顯示興趣像素添加到用于訓練機器學習訓練分類器的訓練數據集合中,使得分類器將來更有可能在不依賴熱相似性的情況下識別相似的感興趣對象。

      名為“Object of interest coloriza”的微軟專利申請最初在2020年12月提交,并在日前由美國專利商標局公布。需要注意的是,這只是一份專利申請,不確定微軟是否會或將于何時進行商業化。

    +1

    來源:映維網

    推薦文章

    肉H文老师好紧好大好爽
    <menu id="kei0a"><strong id="kei0a"></strong></menu>
  • <menu id="kei0a"></menu>
  • <dd id="kei0a"></dd>
  • <menu id="kei0a"><strong id="kei0a"></strong></menu>