元宇宙遠距自行車共騎體驗，NTT研發「xR Sports」虛擬空間再現技術

翁子涵
2024-03-11

智慧健康,元宇宙
運動科技；元宇宙
688
分享

設立於1985年的日本電信電話株式會社（Nippon Telegraph and Telephone Corporation，以下簡稱NTT），以網路電信服務、通訊設備等為服務範疇，近年來擴張事業版圖，針對運動、智慧農業、機器人、5G、電競、資安相關領域進行多方位發展，並提出了「IOWN（Innovative Optical and Wireless Network）構想」，預計在2030年前開發出新的資訊體系，將AI、IoT技術與生活結合，創造出更有效率、多元共榮的人文社會。

【公司發展願景】

為了實踐「IOWN構想」，推動低延遲、低耗電、大容量且高品質之網路技術與資訊整合體系，NTT著手研究開發3D影像、音場臨摹、震動模擬，打造出還原現實的3D元宇宙空間，預計可提供新型態的娛樂體驗。

2023年10月，NTT與日本栃木縣宇都宮市及日本自行車公路賽協會合作，收集「SUBARU LEVORG presents 2023日本盃自行車公路賽」的賽道數據，進行元宇宙空間的「共騎體驗」實證實驗。透過當地的高中生自行車公路賽收集競賽影像、聲音以及道路狀況，於元宇宙空間重新再現競賽當天的「xR Sport」空間提供參賽者沉浸式體驗，藉此驗證成果。

圖1：NTT研發團隊收集競賽影音數據示意圖
圖片來源：NTT、リアル世界のスポーツの映像･音響･振動･体感をメタバース空間で再現する「xRスポーツ」技術を発表自転車競技で選手と共走体験 - ロボスタ (robotstart.info)

【技術重點】

1. 廣域3D影像空間的運算與重現
藉由比賽當天所錄製的影像重現3D空間時，會因為人群、選手或其他障礙物產生視線死角，在共騎體驗者於虛擬空間中自由移動時，會產生無法演算的區域，因此由當天比賽錄影配合事前拍攝的影像，生成無死角的元宇宙3D虛擬空間。

圖2：廣域3D影像空間的運算與重現技術
圖片來源：リアル世界の体感を再現するXRスポーツ空間を生成する技術を開発～自転車競技レースを再現した超高臨場メタバース空間において、選手との"共走"体験を創出～ | ニュースリリース | NTT (group.ntt)

2. 廣域3D音場的運算與重現
這項技術可將錄影檔中，選手、觀眾和環境聲音透過物件識別分離，區別畫面中所出現的各項音源位置和方向，並重新組合，在虛擬空間中重現宛如身歷其境的自然環境音場。

圖3：廣域3D音場的運算與重現技術
圖片來源：リアル世界の体感を再現するXRスポーツ空間を生成する技術を開発～自転車競技レースを再現した超高臨場メタバース空間において、選手との"共走"体験を創出～ | ニュースリリース | NTT (group.ntt)

3. 廣域震動空間的運算與重現
現實中自行車行進時產生的振動也可以同樣重現於3D虛擬空間中。NTT分析自行車於不同材質道路行駛時的震動聲音。比如，圖中顯示錄像中ID1材質為柏油地面、ID2為路標油漆，而收音檔案中可區分出ID1和ID2的聲音段落。NTT再根據虛擬空間中各路段的材質設計音效，並讓使用的自行車把手和椅墊產生震動，讓體驗者感受到真實的騎乘體驗。

圖4：廣域震動空間的運算與重現技術
圖片來源：リアル世界の体感を再現するXRスポーツ空間を生成する技術を開発～自転車競技レースを再現した超高臨場メタバース空間において、選手との"共走"体験を創出～ | ニュースリリース | NTT (group.ntt)

【未來展望】

NTT運用「SUBARU LEVORG presents 2023日本自行車比賽」的數據，於2023年11月14~17日的NTT開發研究論壇「NTT R&D FORUM 2023 -IOWN ACCELERATION」上，介紹此項技術以及共騎體驗的現場演示。此外，也積極實施問卷調查，收集使用者角度的易用性測試（Usability Test），貼近選手與專家的需求。

NTT期望可以透過這項研究，拓展運動競賽的發展領域及規模，並藉由遠距交流、遠距競賽技術，打破時空間與價值觀的藩籬，促進人類身心靈健康與福祉。

圖5：應用「xR Sports」空間遠距參加比賽
圖片來源：NTT、リアル世界のスポーツの映像･音響･振動･体感をメタバース空間で再現する「xRスポーツ」技術を発表自転車競技で選手と共走体験 - ロボスタ (robotstart.info)