• <menu id="4s8ek"><strong id="4s8ek"></strong></menu>
    <menu id="4s8ek"><tt id="4s8ek"></tt></menu>
  • 科技魔方

    蘋果專利基于AR/VR眼動追蹤提出用于控制工作流程的系統和方法

    AR/VR

    2021年11月24日

      AR/VR設備搭載眼動追蹤儀正在成為趨勢,而眼動追蹤信息存在一系列的用例。例如,可以根據眼動信息來觸發各種事件,比方說觸發與維修冰箱相關的全息步驟說明。又例如,可以根據眼動信息來判斷用戶的狀態,例如用戶在執行任務時是否有集中注意力。

      在名為“Method and system to control a workflow and method and system for providing a set of task-specific control parameters”的專利申請中,蘋果就介紹了這樣一種利用眼動追蹤信息的方法。具體來說,這項發明涉及一種用于控制工作流程的系統和方法。

      在一個實施例中,工作流程包括要由人執行的至少一個任務,并提供關于至少一個特定對象的信息。

      在一個實施例中,可以捕獲這名用戶的至少一只眼睛的眼動數據,并根據眼動數據觸發事件。例如,如果用戶注視預定義對象,則會觸發特定操作。

      在一個實施例中,依賴于眼動數據和關于至少一個特定對象的信息,可以檢查是否滿足包括是否已執行任務和/或是否允許執行任務的至少一個任務條件??梢允褂眠@名人員的眼動數據,尤其是關于至少一個特定對象的眼動數據來檢查和監控工作流程的單個任務是否已經執行,尤其是正確執行。所以,蘋果指出這種控制機制可以提高工作流程結果的質量,甚至降低危險情況的風險。

      例如,如果這名人員已經看到并確認顯示的關鍵信息,則所述任務只能由這名人員執行。其中,關鍵信息可以從對捕獲的眼動數據的分析中得出確認。根據另一個例子,如果這名人員是直升機飛行員,而他執行的任務包括在特定時間間隔內定期掃描所有儀器。這時,可以根據捕獲的眼動數據確定他是否已經完成特定任務。

      在另一個實施例中,根據捕獲的眼動數據確定人員的狀態,特別是情緒狀態和/或注意力狀態和/或精神狀態和/或適合工作狀態。其中,依賴于所確定的狀態執行所述檢查是否滿足所述至少一個任務條件?;谂c眼睛或眼睛部分(如瞳孔或眼瞼)的運動相關的運動模式,可以確定用戶的當前狀態,并確定用戶在執行任務時是否注意力集中。有利的是,這項技術可以用于檢查這名人員是否正確執行任務,例如積極且集中地注視與任務相關的對象,或者人員不疲勞、不緊張、不害怕或不分心。

      根據發明的另一個有利實施例,可以從眼動數據導出位置信息,并將其與關于至少一個特定對象的位置信息進行比較。在這種比較的基礎上,可以導出關于執行任務的人員的眾多信息,例如,這名人員是否查看了執行任務的相關對象;這名人員看到了執行任務的相關信息,是否允許這名任務執行任務;這名人員是否按預定義順序或在特定時間間隔內檢查了相關對象等等。所以,可以從中獲得大量的信息,例如這名人員是否正確執行任務,或者是否允許這名人員執行任務。

      圖1是實施例的系統10a。根據所述方法,系統控制將由用戶執行的至少一個任務的工作流程。系統10a可以包括一個或多個頭戴式設備12,每個頭戴式設備12包括場景攝像頭12a和眼動攝像頭12b。另外,系統10a包括處理單元14,處理單元14可配備有用于計算控制參數CP的神經網絡14a,而控制參數CP可存儲在系統10a的存儲設備16中。

      為了提供一組特定于任務的控制參數CP,一個或多個測試人員P1、P2可以在執行工作流的特定任務期間佩戴頭戴式設備12。當測試人員正在執行任務時,各個場景攝像頭拍攝多個場景圖像?;诓东@的場景圖像,可以提供關于測試人員P1、P2的環境中的對象的信息。然后,可以將捕獲的場景圖像以場景數據S1、S2的形式提供給處理單元。同時,當測試人員P1、P2正在執行任務時,眼動攝像頭12b捕獲測試人員P1、P2的各自眼動數據,尤其是以眼睛圖像的形式。眼動追蹤器可以基于眼睛圖像計算測試人員P1、P2的各自注視方向。通常,注視方向或眼動數據E1、E2可以提供給處理單元14。捕獲的眼動數據E1、E2可以相對于相應的場景數據S1、S2進行設置,以導出例如關于測試人員P1、P2在特定時間在關注環境的哪個位置。

      這種方法的目的可以是:環境中的哪個對象是執行特定任務的相關對象;是否存在特定任務的單個步驟的相關時間順序;或者是否必須在特定時間間隔內執行任務的單個步驟;是否必須重復某些步驟,尤其是比其他步驟更頻繁等等。所述信息都可以有利地從場景數據S1、S2和眼動數據E1、E2導出。

      為了驗證結果,可以相互比較結果。例如,如果根據P1的場景和眼動數據E1將對象識別為相關對象,并且根據所有其他測試人P2的場景和眼動數據E2,可以將相同的對象識別為相關對象,然后將所述對象分類為具有高可靠性的相關對象。

      在確定控制參數CP時,可以使用其他信息,例如關于各個測試人員P1、P2的技能水平SL的信息,以及任務結果或結果的質量水平RQ。各測試人員P1、P2和/或結果質量RQ的技能水平SL可手動評定,并輸入系統10a,或由系統10a自身評定。例如,通過這種方式,可以根據各自的技能水平SL對各自測試人員P1、P2的輸入數據進行加權。

      另外,可以根據結果質量RQ應用各自的權重。然后,可以導出關于特定任務的進一步信息,如觀察對象的持續時間與更好的結果之間是否存在相關性,或者更頻繁地觀察某個對象與更好的結果之間是否存在相關性。類似地,可以確定在時間限制內執行任務的某些步驟是否相關,或者時間限制或時間間隔是否重要。

      通過分析所述數據,即場景數據S1、S2、眼睛數據E1、E2和可選的各自技能水平SL和結果質量RQ,可以導出特定任務的控制參數CP,并將其存儲在存儲設備16中。

      然后,這些特定于任務的控制參數CP可以有利地用于控制包含特定任務的工作流程,并隨后由任何其他用戶執行。另外,處理單元14可以使用除神經網絡14a之外的其他方法。

      圖2是示例性方法的一個流程圖。相關對象可以按時間順序分配給任務的單個步驟。例如,工人必須按照預定義的順序擰緊工件的一定數量螺釘。另一個例子是,一個人必須用咖啡機煮咖啡,并且必須在按下按鈕啟動咖啡機之前將水注入水箱。

      在S12中,可以在任何類型的顯示設備向這名人員顯示信息,并通知他/她必須執行單個步驟的及時順序。之后,在S14中,可檢查這名人員是否已閱讀信息。這可以例如通過將注視點與對象位置進行比較來實現。

      如果沒有閱讀信息,則可以在S16中顯示警告信息。另外,若沒有閱讀信息,有關注意步驟順序的信息可以持續顯示,并不允許這名人員執行后續的操作。

      然而,如果在S26中確定這名人員已按預定順序查看了所有相關對象,則在S29中認為任務已完成。如果工作流程包含多個任務,則可以對工作流程的每個任務再次執行所述過程。此外,如果認為上一個任務已完成,則可能只允許工作流程的下一個任務。因此,在這種情況下,要么在S30中允許執行下一個任務,要么輸出任務或工作流的結果。

      名為“Method and system to control a workflow and method and system for providing a set of task-specific control parameters”的蘋果專利申請最初在2021年7月提交,并在日前由美國專利商標局公布。

    +1

    來源:映維網

    推薦文章

    免费国产黄在线观看,吃农村哺乳丰满妇女奶水,7788亚洲精品无码专区在线
  • <menu id="4s8ek"><strong id="4s8ek"></strong></menu>
    <menu id="4s8ek"><tt id="4s8ek"></tt></menu>