XR應用智慧躍升：Agentic AI如何賦予台灣XR產業更強大的生命力？

隨著科技的快速發展，延展實境（Extended Reality，XR）技術，包含虛擬實境（Virtual Reality，VR）、擴增實境（Augmented Reality，AR）及混合實境（Mixed Reality，MR），正逐步應用於百工百業，帶來包括互動展演、模擬訓練等各項沉浸式、互動式的全新體驗。與此同時，由於人工智慧（Artificial Intelligence，AI）快速發展，其中具自主性的AI代理（Agentic AI）的概念，強調AI系統能夠感知環境、做出決策並採取行動，以達成特定目標，更能創造XR應用發展的無限可能。本文旨在探討XR與Agentic AI相結合的產業趨勢，並針對台灣發展此一領域提出建議。

【XR 技術概覽】

XR大致可分為VR、AR和MR三大技術：

• 虛擬實境（VR）：模擬產生一個三維空間的虛擬世界，提供使用者關於視覺等感官的類比體驗，通過姿勢追蹤和3D顯示器，使使用者能夠感受沉浸式體驗，提供使用者完全沉浸於虛擬世界的體驗，並可與虛擬物件進行互動，應用範圍涵蓋娛樂（特別是遊戲）、教育（例如醫學、軍警消培訓）、商業（如虛擬會議、智慧工廠）、設計（如3D建築模型）多個領域。

• 擴增實境（AR）：如大家所熟知的寶可夢遊戲，將虛擬資訊疊加於真實世界之上，使用者與虛擬物件的互動有限，通常需要透過硬體裝置介面進行操作，多基於影像資料處理、圖像識別、同步定位與地圖建構、校準、導航、顯示等多項虛擬技術，創造出高互動性、高配合度的科技互動體驗。

• 混合實境（MR）：結合真實和虛擬世界創造了虛實整合環境和視覺化體驗，並讓實體空間和數位物件共存，並能即時互動。混合實境了現實、擴增實境、增強虛擬和虛擬實境技術，提供半沉浸於虛擬世界的體驗，使用者可以與虛擬物件進行高度互動，透過手部或身體動作操控、碰觸虛擬物件。

圖1： Differences between AR, MR and VR

資料來源：https://www.researchgate.net/publication/350526801_Application_of_mixed_reality_for_improving_architectural_design_comprehension_effectiveness

【具自主性的 AI 代理 （Agentic AI）】

想像一下有一個專屬的數位執事，他不僅能記住您的喜好，還能預測您的需求，感知環境、做出決策並自動執行完成實現特定目標（例如寫完計畫報告）。它們融合了機器學習、自動化和數據分析的力量，來執行曾經需要人工協調的任務，永遠不會要求加薪或請病假。

Agentic AI是指具備感知、決策和行動能力的AI系統，泛指軟體、硬體、應用程式、對話服務等各種呈現方式。這些Agent能夠在複雜環境中自主運作，可或無需持續的人工參與就能達成預定的目標。在軟體層面，Agentic AI能夠快速組合不同的AI模型和模組，串接成應用服務，大幅降低開發時間與成本，並提升軟硬整合的可靠度。Edge AI的發展更推動了輕量化AI平台架構建立，透過訓練輕量化AI領域模型，結合台灣特有的晶片設計與硬體整合能力，發展低成本的Edge AI運算應用。

Agentic AI一般來說具有自主性（Autonomy）、感知（Perception）、決策（Decision-Making）、學習與適應（Learning and Adaptation）及互動（Interaction）等五大特性，並運用下列四個步驟來解決問題：

1. 感知（Perceive）：Agentic AI從各種資料來源（如感測器、資料庫和數位介面）收集並處理數據。這包括提取有意義的特徵、識別物體或辨識環境中的相關實體。

2. 成因（Reason）：Agentic AI運用大型語言模型以推理引擎，理解任務、生成解決方案並協調專門的模型來執行特定功能，如內容創作、視覺處理或推薦系統。這一步驟使用檢索增強生成（RAG）等技術來訪問專有資料來源，並提供準確、相關的輸出的內容或介面。

3. 行動（Act）：通過應用程式介面（API）與外部工具和軟體整合，Agentic AI可以根據其制定的計劃快速執行任務。可以在Agentic AI中設置防護措施，以確保其正確執行任務。例如，客服AI助理可以處理一定金額以下的賠償，而超過該金額的賠償或各種特殊條件，則需要轉至真人查核流程進行人工批准。

4. 學習（Learn）：Agentic AI通過回饋迴路或「數據飛輪」（Data Flywheel）不斷改進，將其互動過程中生成的資料回饋到系統中以增強模型。這種隨時間適應和變得更有效的能力，以推動更好的決策模型。

圖2： How Does Agentic AI Work

資料來源：https://blogs.nvidia.com/blog/what-is-agentic-ai/

【XR 與 Agentic AI的融合：產業趨勢】

如上述提到，XR技術提供沉浸式的環境和自然的互動方式，而Agentic AI則賦予虛擬環境中的物件和角色智慧與自主性，若進一步結合自然語言處理（Natural Language Processing，NLP）、機器學習（Machine Learning，ML）等AI技術，就好像大家熟知遊戲中的NPC角色活起來一般，創造更多XR應用的無限可能。兩者的結合將帶動以下幾個重要的產業趨勢：

• 增強設計創造動態且個性化的虛擬環境：透過分析大量資料更逼真、更具功能性的XR虛擬原型，Agentic AI能夠根據使用者的偏好和行為模式，動態地調整XR環境的內容和呈現方式。在XR設計過程中，根據真實世界的數據為建築物建議最佳佈局。，在虛擬旅遊中，AI導遊可以根據遊客的興趣點，自主規劃遊覽路線並提供相關資訊。在虛擬社交中，Agentic AI可以作為使用者的虛擬化身，進行更自然的互動和交流。

• 個人化訓練模擬創造智慧化的互動體驗：透過Agentic AI，XR環境中的虛擬角色或物件不再只是被動的反應，而是能夠根據使用者的行為、語音甚至情緒做出擬人化的回應。例如，在VR教育訓練中，據個人學習風格和表現差距客製化VR訓練模擬，AI教練能夠根據學員的學習進度和表現，提供個人化的指導和回饋。在MR環境中，AI助理可以理解使用者的手勢和語音指令，並自主地完成相關任務。

• 人工智慧無縫融合XR創造專業助理服務：在製造業、醫療保健等專業領域，XR與Agentic AI的結合能夠實現更自動化、更易用、更精準的操作和決策。例如在智慧工廠中利用即時數據建立AR操作導引，指導員工完成複雜的任務或提供故障排除步驟，AR眼鏡結合AI視覺感知，可自主模擬並檢測設備的運作狀態，並提供維護建議。在醫療領域，MR手術輔助系統可以結合AI影像分析，為醫生提供實時的引導和決策支持，並提供精準的調教操作。

• 加速數位雙生（Digital Twin）的發展：Edge AI技術的發展，尤其是在數位建模和空間推理方面的提升，為XR驅動的數位雙生應用注入了新的動力。結合Agentic AI的數位雙生系統不僅能即時呈現真實環境的狀態，更能進行預測分析和自主優化。例如，在智慧城市管理中，透過XR可視化的數位雙生城市模型，結合Agentic AI的自主監控和分析能力，可以更有效地管理交通、能源和公共安全等，有效降低城市智慧治理的壓力。

【台灣XR產業現況與挑戰】

台灣XR廠商在硬體、軟體與資服領域均有布局。軟體類廠商多為新創企業或一般企業，以完全自主研發為主，營收規模相對較小，且目前主要市場均以在台灣為主。硬體類廠商則以上市櫃公司居多，透過成為國際設備大廠之供應鏈合作模式開發特定關鍵模組，營收規模較大，且有較多的海外合作為主。

而觀察台灣XR應用軟體與內容產製廠商，目前主要採用海外知名開發引擎，包括Unity、ARKit、ARCore、Unreal等，依據市場及客戶需求開發應用服務與體驗內容，優勢在於已累積相對多的實證案例／成功案例、內部人才充沛以及商業夥伴關係緊密等方面。然而，發展XR應用也面臨諸多挑戰，其中最大的瓶頸在於需求市場對XR的瞭解度不足，其他挑戰還包括開發成本高、開發資金不足、人才難尋、使用者硬體體驗不佳、設備規格不一致以及XR數位內容不足或不夠令人驚艷。

【台灣運用Agentic AI發展XR產業之建議】

據Gartner指出，25%使用生成式AI的公司可能會在2025年啟動代理式AI應用，到2027年這一數字可能會達到50%，從員工培訓和設計到客戶服務和遠端協作，為未來實體世界和數位世界融合一起創造更有效率、更具吸引力、更智慧的工作與生活環境。

面對XR與Agentic AI融合的產業趨勢，以及台灣XR產業的現況與挑戰，以下提出幾點建議，以期協助台灣在此領域取得發展先機：

1. 加強市場教育，提升產業認知： 針對潛在的應用領域市場和民眾等使用者，透過研討會、案例分享、大型活動參與與體驗等方式向下扎根，普及XR技術的知識，展現其價值和潛力並創造使用體驗經驗，從而擴大市場需求。

2. 聚焦軟硬整合，發展Edge AI賦能的XR解決方案： 台灣在晶片設計與硬體製造方面具有優勢。應鼓勵XR廠商與AI晶片、感測器等硬體供應商串聯，並以學研機構合作基於Edge AI技術開發Agentic AI的XR產品和解決方案，例如具備本地運算能力的智慧AR眼鏡、能進行即時環境分析與互動的MR系統等。

3. 鼓勵自主研發，提升台灣Agentic AI在XR環境中的服務體驗： 台灣的XR軟體與資服廠商可加大在AI相關技術領域的投入，特別是自然語言處理、機器學習、空間推理等關鍵技術。鼓勵開發適用於XR環境的Agentic AI服務，並結合服務設計的使用者行為分析，創造出使用者更智慧化的互動、個性化的體驗和自主化的服務。

4. 強化人才培育，彌補產業缺口： 針對XR和AI融合領域所需的人才應從大專院校在學學生扎根培育，鼓勵國際交流掌握國際技術與開發工具趨勢，引進先進技術和人才，培育包括XR軟硬體開發工程師、AI演算法工程師、3D內容設計師、UI互動介面設計師、UX服務體驗設計師等，透過產學合作，設立相關課程和培訓計畫同時培養關鍵技術與實作人才。

5. 促進跨領域合作，打造完整的產業生態系：XR的應用涉及多個產業領域。應鼓勵XR廠商與各垂直領域的業者、內容開發商、平台供應商等建立緊密的合作關係，共同發展新的應用場景和商業模式，打造更完整的XR產業生態系統，政府可扮演媒合平台的角色，促進生態系成員間的合作把餅做大。

6. 參與國際技術標準，掌握市場需求，拓展海外市場：台灣XR廠商應密切關注國際XR和AI技術的發展動態和相關標準，並積極參與國際合作與技術合作，同時拓展海外市場，特別是在軟體、資訊服務、數位內容等方面，且由於文化相近的角度，可先以日本等東北亞及東南亞等鄰近市場為主。

【FIND觀點】

　　XR與Agentic AI的結合是未來科技發展的重要趨勢，台灣XR產業具備一定的發展基礎和優勢，但由於國際技術與市場發展快速，仍面臨諸多挑戰，台灣應加強市場教育、聚焦軟硬與內容整合、鼓勵自主研發、強化人才培育、跨領域合作、數位內容創作、提升UX設計能力及掌握國際趨勢，台灣有望在XR與Agentic AI的浪潮中迎頭趕上，開創產業發展的新格局。

封面圖片來源：本文作者使用Copilot生成情境圖

參考資料來源：

1.台灣XR廠商佈局動向調查分析：https://mic.iii.org.tw/aisp/ChartS?docid=PPT1111108-1

2.維基百科虛擬實境定義：https://zh.wikipedia.org/zh-tw/%E8%99%9A%E6%8B%9F%E7%8E%B0%E5%AE%9E

3.維基百科混合實境定義：https://zh.wikipedia.org/wiki/%E6%B7%B7%E5%90%88%E7%8E%B0%E5%AE%9E

4.Application of mixed reality for improving architectural design comprehension effectiveness：https://www.researchgate.net/publication/350526801_Application_of_mixed_reality_for_improving_architectural_design_comprehension_effectiveness

5.What Is Agentic AI?：https://blogs.nvidia.com/blog/what-is-agentic-ai/

6.Understanding AI Agents: The Good, The Bot, and The Ugly：https://www.linkedin.com/pulse/understanding-ai-agents-good-bot-ugly-tyrone-grandison-ed1rc/

7.The Rise of Agentic Ai : a Look Back at 2024 and Predictions for 2025：https://www.unite.ai/the-rise-of-agentic-ai-a-look-back-at-2024-and-predictions-for-2025/

8.Reimagine Future of Work: Enterprise XR & AI | AI Agents：https://www.linkedin.com/pulse/reimagine-future-work-enterprise-xr-ai-agents-inderjit-singh-xs5gf/