新型手環VR，隔空也能打字彈琴
虛擬實境技術結合VR眼鏡，創造三維可視化虛擬空間，甚至能夠建立仿真之VR模擬培訓課程，其未來應用之可能性近乎是無限的，但目前VR系統之輸入操控仍需依賴VR操控手把，尚未有更友善之輸入操作方式。
虛擬實境技術通常透過光學攝影機 (色彩/景深攝影機) 進行電腦視覺處理，進而理解來自手把或徒手空中互動輸入之行為。蘇黎世聯邦理工學院智能互動研究所教授克里斯蒂安·霍爾茲（Christian Holz）表示，目前之互動操作方式將是阻礙VR技術發展的關鍵障礙，必須特別考量使用者持續在空中透過控制器或徒手輸入狀況下之使用情境 (如下圖)。霍爾茲還說：“如果您必須一直抬起手臂，那很快就會很累”。為了應對這一挑戰，霍爾茲研究團隊提出了基於腕部的慣性傳感系統TapID，並將在2021年三月底的IEEE VR會議上發表該技術。
圖1、透過TouchID在虛擬空間中進行極其精確的徒手輸入
(https://techxplore.com/news/2021-03-virtual-reality-fingertips.html)
透過振動曲線，捕捉手指細微行為
由於正常的工作流程需要與應用程序交互數小時，而目前結合光學攝影機之虛擬鍵盤所搭配之手部追蹤技術無法滿足使用者正常工作，如：不同於機械鍵盤輸入操作之空中徒手輸入方式，及無法辨別指尖在機械鍵盤上之輕微移動行為。
為解決此問題，TapID將一對慣性傳感器嵌入在腕部兩側的錶帶中，除了可以準確的檢測手與表面之觸摸事件，亦可識別手指的觸摸行為。TapID的感測技術在普通的柔性橡膠腕帶中嵌入多個加速度傳感器。霍爾茲研究團隊發現，此感測器設計可以檢測出手腕上的微小振動分佈差異 (如下圖)，進而辨識出每個手指的細微動作。透過收集的感測數據定制機器學習模型，可即時處理與預測指尖之行為。另外，霍爾茲研究團隊結合VR眼鏡中的攝影機系統與手部追蹤技術，在開發的虛擬鍵盤和鋼琴應用程序中證明了此技術之可行性。
圖2、透過振動曲線，捕捉手指細微行為 (https://siplab.org/papers/vr2021-TapID.pdf)
快速觸摸互動內建 2 顆慣性感測器
VR 系統觸控互動的核心挑戰在於如何精確地偵測手指與平面之觸控事件。霍爾茲研究團隊過去嘗試使用景深攝影機進行觸摸檢測和抑制濾波器之實驗，實驗發現不論濾波器還是攝影機幀率，都會限制系統精確檢測的互動速度。
霍爾茲研究團隊稱 TapID 手環是「基於手腕動作的慣性感測系統」。透過集合多加速度之感測器 (如下圖) 實現細微之手指行為檢測，不僅可檢測到某表面（如桌面）的觸摸事件，還可額外結合頭戴式VR 系統之輸入事件，讓VR應用程式亦能啟動互動模式，並無縫又可靠的將應用轉移到 VR 場景，讓使用者能夠透過 頭戴式VR 設備操作常見生產力工具如手機和平板電腦。
圖3、集合多加速度感測器 (https://siplab.org/projects/TapID)
TapID實現高精準檢測
為證明 TapID 之可靠性，霍爾茲團隊招募14 名男性、4 名女性；年齡為 19~57 歲共 18 名參與者，每輪測試者皆戴上 TaplD手腕，並按照指示重複用每根手指展示敲擊動作（敲 30 下），短暫休息後，繼續重複 2 次。在測試的表現上，多用戶改進前之準確率為0.87，而改進後之準確率提升至 0.91，單用戶準確率調教後準確率為 F1 = 0.93。而最終調適後之準確率高達0.997，證明TapID在細微指尖辨識之能力，其準確度明顯超過不少頭戴式顯感測器和攝影鏡頭系統等。
TapID實現VR互動應用
霍爾茲團隊之TapID在觸摸感測下加入基於手部跟踪的輸入功能，開啟各式VR互動應用，集中包括UI 控制、敲鍵盤、鋼琴演奏、在桌上做手勢等應用 (如下圖)。透過TapID可確定哪隻手指敲擊「鍵盤」，讓用戶能夠如同現實世界中用機械鍵盤打字，或於某物品表面與虛擬物品互動。
圖4、VR互動應用 (https://siplab.org/papers/vr2021-TapID.pdf)
- 總結
- 用戶須抬起手部並將指尖與空中虛擬鍵盤對焦，與真實之鍵盤輸入操作方式不同。TapID解決用戶雙目注意力分散之問題。若能將此技術結合Autodesk或Dassault之VR插件上，可真正提高生產力。未來亦可結合提升與智慧手錶的互動方式。
- TapID提升細微指尖行為之準確度，將能提升用戶在於虛擬鍵盤與虛擬鋼琴等VR應用上之友善操作度。
參考來源：
[參考文獻]