Meta為全天候AR眼鏡設計了AI系統的八大指導方針

編輯：Esther

來源：青亭網

眾所周知，Meta不僅局限在Quest這類VR頭顯上，同時還在打造更輕量化的AR眼鏡，目標就是讓產品更好的融入到人們的日常生活中去。除了硬件上輕量化以外，在功能和交互體驗上也至關重要，例如自然交互方式，比如手勢輸入，以及AI視覺助手等，這其中和計算機視覺和AI技術密不可分。

AI技術將會是AR眼鏡的重要組成部分，通過實時給用戶提供回答和建議等幫助（例如推薦導航路線、甚至日程、根據喜好推薦菜品等）來提升AR眼鏡的實用性，將會成為Meta AR眼鏡的賣點之一。尤其是，考慮到Meta近年來在AI技術上的投入，我們完全有理由相信這一點。

Reality Labs公佈了一項研究：XAIR，從中我們可以了解到AR眼鏡中AI系統的設計準則。該框架基於可解釋人工智能框架（XAI）和人機交互（HCI）等研究，其中內含8大設計準則，可為AR眼鏡的AI設計提供有價值的參考。

**什麼是XAI？ **

據青亭網了解，XAI(Explainable AI)又稱透明AI(Transparent AI)，特點是行為容易被人所理解。大多數基於機器學習的AI都是在所謂的黑盒中運行，由於無法提供決策背後的原因和見解，此類AI具有一定風險性，因為不確定它是否可信、可靠，是否存在偏見。

XAI的概念可以追溯到四十多年前，後來隨著黑盒AI/ML模型的成功，XAI技術開始受到學術業、監管機構等各行各業關注。研究表明，XAI將有望為用戶提供清晰的決策，並建立信任。因此在工業領域，已經開始將XAI應用於日常場景，改善用戶體驗。

XAI可以服務於不同的目標受眾，有各種不同的用途。早期的XAI研究僅關注算法開發者、數據科學家，以及臨床醫療等領域的專家，而近年來越來越多的XAI開始面向普通用戶，與消費級產品集成，比如在購物網站上顯示推薦某產品的原因等等。不過，這目前還在早期階段。

XAI的重要性

想要讓AI被人類廣泛理解，將涉及多學科研究工作。比如，ML研究人員開發了生成透明模型的算法（例如，決策樹、貝葉斯模型），或使用事後解釋技術（例如，特徵重要性、視覺解釋）來生成解釋。而HCI研究人員，則專注於提高用戶信任度，以及對機器生成解釋的理解。另一方面，心理學研究人員從更基本的角度研究XAI，研究人們如何生成、交流和理解。

公開透明的AI也很重要，它符合未來其在AR/VR領域的發展策略。在XAIR研究中，XAI的目的是通過生成細節或理由，來幫助用戶清楚、容易理解AI的決策和功能。 Meta指出，XAI是AI驅動的交互系統的重要組成部分，未來也會在日常AR應用中起重要作用，輔助用戶與可視化的智能服務互動。 XAI可以讓AR智能係統的行為更好理解，避免意外的AI決策，並培養隱私意識，獲得用戶的信任。

不過，目前Meta面臨的一個難題，是為日常AR應用創建有效的XAI體驗。大多數現有的XAI研究側重於將解釋類型和生成技術分類，而沒有考慮到日常AR場景的特點，比如用戶和上下文產生的感知信息，全天候運行，適應能力好等因素。這些因素不僅可以形成更人性化的解釋，還會影響解釋接口的設計。

因此，Meta提出了XAIR設計框架，該框架描述了何時、如何解釋AR中AI的決策。為了構建XAIR框架，還進行了一場500人實驗，目的是收集他們對於AR體驗設計的偏好。此外，還參考了12位專家對於AR交互的見解。

本次研究的重點，是確定三點問題：

• AI該何時做出解釋；
• 可以解釋什麼；
• 如何解釋。

先前的研究已經探討了前兩個問題，儘管非針對AR，但還是為XAIR的設計提供了一些有用的信息。

XAI設計指南

Meta認為，如果AR眼鏡具備智能服務，那麼AI將起到重要作用，比如根據AR眼鏡傳感器捕捉到的信息，為用戶提供基於上下文的建議。除此之外，AI與用戶交互需要基於有效的XAI設計，以確保AI決策可靠、值得信賴，從而改善用戶體驗。

與面向電腦、手機上的現有XAI框架不同，AR的XAI設計需要結合更深層、更豐富的上下文信息（甚至還要考慮用戶的狀態），因此需要為AR專門重新設計。而且，AR的XAI還需要具有3D感知能力、實時在線，才能應用於日常AR場景，將解釋內容與物理空間融合。比如，在推薦食譜時，同時突出用戶冰箱中的食材，即根據場景上下文來解釋決策。而相比之下，市面上已有的XAI框架並不能滿足這些需求。

於是，Meta通過用戶調查總結了8大設計指南：

1. 始終生成AI結果，確保用戶在需要時可便捷的訪問；
2. 不自動觸發解釋，除非滿足2個條件——識別到用戶高認知負荷、緊迫感等情況，或是識別到用戶驚訝、困惑、不熟悉、不確定等狀態；
3. 個性化解釋內容需考慮三個因素：系統目標、用戶目標和用戶畫像；
4. 在默認狀態，優先考慮為什麼解釋，並選擇簡明的解釋；
5. 始終提供更詳細的解釋，可以通過小的提示窗口等，讓用戶根據需求展開；
6. 默認情況下，採用與AI輸出相同的解釋方式（除了觸覺、音頻），一種模態負載高時，則選擇另外一種；
7. 內容以文字為主，如果是圖片也應盡可能簡化、讓用戶易於理解；
8. 盡可能將解釋內容隱秘地嵌入到場景中，若不適合，則可以明顯的呈現。

Meta結合設計指南，開發了一些應用案例並在10名設計師中進行驗證，結果設計師認為XAIR可為AR的XAI框架設計提供可用的綜合參考或幫助，有助於激發設計師的思維和想像力。參與實驗的12名最終用戶也反饋，XAIR有出色的可用性。

應用案例

在這項研究中，Meta設計了兩個演示案例，感興趣可以來了解一下：

1）當用戶在小路上慢跑時，AR眼鏡考慮到當下的季節和風景，便為用戶顯示出附近的地圖，建議繞道去附近的路賞櫻花。 AI可提供的解釋包括：風景更好、路線長度合適、適合用戶日程安排。解釋形式包括文字、櫻花圖片等等。

2）AR用戶在與鄰居討論園藝後回到家，這時AR眼鏡會在周圍的植物上顯示一個“養護”提示，並為用戶提供關於植物施肥的說明。這個建議需要用戶手動觸發，避免其認為AI侵犯隱私，手動觸發可以較好的建立信任。此外，AI還可以提示：經過系統掃描，植物的葉子上有異常斑點，表明可能遭受真菌或細菌感染。解釋形式除了文字外，也可以在葉子上用AR來標記異常點（文本為明顯提示，AR提示則為隱秘式，與場景融合）。

參考：