1. FIND
  2. 技術觀測
  3. 淺談NVIDIA虛擬人技術

淺談NVIDIA虛擬人技術



【技術觀測內容】

　　虛擬人(DIGITAL HUMANS)存在於數位世界中，結合電腦繪圖、數位建模、動作捕捉、人工智慧、語音合成等技術，簡單來說，就是在科幻電影所見的人造機器人數位化版本，在元宇宙中可以提高服務效率並降低成本。從長遠來看，虛擬人技術會是元宇宙重要的基礎建設之一。

　　NVIDIA創辦人黃仁勳在2021年4月春季GTC大會裡，在開場演講影片中暗藏14秒以他真實形象塑造的仿真人演說片段，成功的騙過大家的眼睛，又在年底秋季GTC上再度展示使用自己外觀建立的迷你版虛擬角色"Toy Jensen"，但這次是與專家對談艱深的氣候、人造衛星、醫療等議題，展現NVIDIA在對話式人工智慧與自然語言上的功力。

NVIDIA的虛擬人技術發展方向

圖1  NVIDIA的虛擬人技術發展方向

資料來源：NVIDIA https://www.youtube.com/watch?v=Pev84SGO2r0&t=485s

NVIDIA將建立虛擬人的技術分為以下8個面向：

  • 可視化(Vision)：建立Avator的技術，例如Omniverse Avatar。
  • 語音(Speech)：語音技術包含自動語音識別 (ASR) ，讓虛擬人可以聽得懂我們說的話，和文字轉語音 (TTS)可發出聽起來非常自然的語音，NVIDIA Riva是開發及時語音AI的SDK，可使用GPU的並行處理算力。
  • 表情(Face Animation)：技術讓虛擬人的語音與嘴型能對上，例如NVIDIA Audio2Face。
  • 擬真圖像(Realistic Graphics)：NVIDIA Studio與Omniverse應用程式提供開發擬真的圖形的軟體，並支援GPU加速與光追效果。
  • 對話(Conversation)：即時對話式人工智慧的 NVIDIA Maxine SDK，可以強化線上會議或是對話服務而發展的多種工具集，可以過濾背景環境噪音還原人聲、或是從多個人聲中分離出一個人的聲音，也能翻譯你講出的話並模擬你的聲音講出他國語言。另也有提供眼神校正功能，讓視訊會議中的人都注視著你，提升視訊會議的體驗。
  • 規劃與行動(Planning & Action)：NVIDIA DRIVE 等技術提供自架車路線規劃與控制功能。
  • 手勢動作(Gesture)：TAO Toolkit 具備專門的手勢辨識模型，能在NVAIDA NGC雲端服務上進行訓練，並在 NVIDIA Jetson 上部署模型。
  • 肢體動作(Body Animation)：Omniverse Machinima應用程式提供開發更為真實的虛擬人臉部與肢體動作。TAO Toolkit 也內含BodyPoseNet可以分析影像中的多個人物的骨架肢體動作，不需要額外的感測器。

NVIDIA 平台架構

圖2: NVIDIA 平台架構

資料來源：https://seekingalpha.com/article/4518179-nvidia-stock-the-company-powering-technological-advancement

NVIDIA強調，在NVIDIA所建立的”One architecture”平台下，從開發工具到應用軟體，從資料中心到處理晶片一應俱全，不用再四處找尋工具或解決方案。平台部分包含以下三個平台：

  • NVIDIA HPC：使用NVIDIA GPU所搭建的高效能運算平台，可以利用多個運算節點的GPU進行平處理。可以有效且快速的執行應用程式。
  • NVIDIA AI：NVIDIA 人工智慧平台的作業系統。
  • NVIDIA Omniverse：提供創作者使用的應用軟體，可使用雲端的RTX運算資源，在輕量的筆記型電腦中執行。

【應用效益評析】

　　2021年底Facebook改名Meta掀起全球元宇宙旋風，一年後的今天來看元宇宙的發展不如預期般的美好，Meta自己也深陷市值下跌與裁員的麻煩中，但問題應該不在元宇宙的發展方向，而是現階段的體驗與我們的期待有些落差，所以現在正好是好好檢視問題並提升元宇宙基礎建設的時候。

　　目前普遍認為，元宇宙在AI、虛擬人等技術上都還有許多成長空間，而就在幾週前OpenAI發佈的免費機器人對話模型ChatGPT3.5，在短短一個周內就累積超過100萬用戶使用，其所開發的對話機器人在持續性對答能力讓人驚艷，也讓我們看到讓電腦學習舉一反三變成可能，激發出相關研究者無限的想像。

      而從GPT到GPT3主要的差異之一就是參數數量與訓練數據的大幅增加，背後就是依靠強大的計算能力來支撐，而NVIDIA將過去只有高階實驗室才能提供的計算能力藉由雲端系統、邊緣雲系統或是可自行搭建GPU叢集運算平台，讓過去需要數百萬小時的計算時間降低到數十小時內可完成，尤其觀察近幾年AI運算能力的成長幅度甚至超越半導體發展的摩爾定律數10倍以上！所以現在看似遙遠的虛擬人技術在不久的將來絕對值得令人期待。

 

參考來源：

延伸閱讀
人工智慧;虛擬人;元宇宙

專家群介紹

王志清

區塊鏈應用落地 、 縱深防禦資安策略與管理（Build Security In 、 ISMS) 、 建置大型敏捷團隊（Scrum@Scale 、 Large-Scale Scrum） 、 企業數位賦能/轉型 、 先進研發架構規劃（DevOps 、 DevSecOps） 、 新事業發展策略與規劃（Lean Startup 、 Customer Development）

吳俊達

數位轉型

彭賢恩

消費市場行銷研究 、 產業分析 、 秘密客調查 、 問卷量表設計 、 數據分析

蔡政安

公司策略管理與執行力計畫輔導、創意管理與問題解決分析 、 企業導入設計思考 、 邏輯金三角系統化問題分析 、 新事業發展策略與商業模式設計 、 事業營運計劃書(BP)撰寫 、 淨零碳排ESG相關策略

鄭旭高

數位資產/虛擬資產/虛擬通貨等相關財務諮詢 、 稅務規劃 、 法務諮詢 、 風控諮詢 、 資安規劃 、 智能合約審計與投融資