VTuber技術演進觀測：從即時追蹤到AI生成角色（上）

近年來，虛擬人物的應用正在快速擴大，不論是直播平台、企業行銷活動，甚至文化展演，都能看到以虛擬形象進行互動的案例。過去製作一名能即時反應表情與肢體的虛擬角色，需要具備建模、貼圖、動畫與串流等多項專業，如今隨著相關工具愈趨成熟，即使沒有美術或動畫背景，也能透過一套完整的軟體流程建立出可運作的VTuber角色。

然而，看似簡單的虛擬角色背後其實整合了建模技術、即時追蹤、聲音處理與渲染等多項系統，甚至開始導入生成式AI協助角色設計與內容創作。這些工具的快速演進，使虛擬人物不再侷限於娛樂直播，而逐漸成為各種互動體驗中的重要介面。

在此背景下，VTuber技術的發展不僅代表一種新的內容創作方式，也象徵著虛擬互動形式的再一次變革。

圖1  Live2D Cubism 編輯界面截圖

資料來源：Live2D官方youtube影片

【VTuber系統的兩大技術組成】

一、角色製作技術

VTuber角色的製作大致可分為2D與3D兩大路線，各自擁有不同的製作流程與技術基礎。2D路線以Live2D為主，需要將角色原畫拆分成多個部件，而這一步通常是整個流程中最花時間的部分。為了讓角色在實時驅動下能夠呈現自然的眨眼、張口、轉頭或臉部微表情，繪師必須在繪製階段就事先規劃好可動的區域，例如上、下眼皮需分開繪製，頭髮需切成多撮，臉部表情要能獨立控制，甚至連身體轉動所需的前、中、後層都要預留空間。 完成分拆後，再利用Live2D的變形器（Deformer）與多組參數（Parameter）進行細緻調整，使原本靜態的2D圖像能夠進行彎曲、縮放與視角變形。這些準備工作直接影響到後續的表現品質，因此角色繪製與分層的完整度往往決定了2D VTuber模型的最終效果。

在2D製作工具中，最具代表性的是Live2D Cubism。它透過分層、變形器與多組參數控制，使原本靜態的2D原畫能夠呈現自然表情與動作，是目前VTuber與手機遊戲中最常見的2D動畫技術。

3D製作方面，VRoid Studio是最普及的入門工具。使用者可以透過直覺的編輯介面調整臉部、髮型與服裝，並輸出標準化的VRM模型，方便後續在各類VTuber驅動軟體中使用。

圖2  VRoid Studio 編輯界面截圖

資料來源：VRoid Studio 官方頁面

二、即時追蹤技術

在2D VTuber生態中，最具代表性的臉部追蹤工具是VTube Studio。VTube Studio支援兩種主要的追蹤方式：其一是透過iPhone的ARKit Face Tracking功能取得高精度的臉部表情資料，包括眉毛、眼皮、嘴型與臉頰動作；其二是使用一般網路攝影機進行影像追蹤，透過軟體內建的臉部特徵點分析達成基本的表情驅動，例如常見的MediaPipe Face Mesh或傳統特徵點偵測演算法，用於捕捉基本的眨眼與嘴型變化。這兩種方式都能將追蹤結果即時套用到Live2D模型上，並被多數2D VTuber作為主要的工作流程。

圖3  VTube Studio Settings臉部追蹤設定頁面

資料來源：VTube Studio 官方GitHub Wiki頁面

在3D角色方面，最常被使用的驅動工具是VSeeFace。VSeeFace支援以網路攝影機進行臉部追蹤，也能透過iFacialMocap或FaceMotion3D等App接收由iPhone ARKit輸出的高品質臉部資料。手部追蹤則主要依靠Leap Motion（Ultraleap）這類消費級深度感測器，能以較高精度捕捉手掌與手指動作。若需要全身追蹤，VSeeFace也支援SteamVR Lighthouse系統的追蹤器，或使用Kinect與MediaPipe等方式取得骨架資料，使3D VTuber能呈現完整的肢體動態。

圖4  VSeeFace臉部追蹤設定頁面

資料來源：VSeeFace 官方網站「Help & FAQ」

本篇我們針對角色製作與即時追蹤等兩大VTuber系統技術與工具進行探討，下篇我們將針對VTuber角色AI生成相關技術與系統進行介紹。（待續）

封面圖片來源：https://www.live2d.com/zh-CHS/cubism/comparison/

參考來源來源：

1. Live2D官方youtube影片：https://www.youtube.com/watch?v=XW6Yrxnn5dM
2. VRoid Studio 官方頁面：https://vroid.com/en/studio?utm_source=chatgpt.com
3. VTube Studio 官方GitHub Wiki頁面：https://github.com/DenchiSoft/VTubeStudio/wiki/VTube-Studio-Settings
4. VSeeFace 官方網站「Help & FAQ」：https://www.vseeface.icu/
5. Fotor 官方「AI VTuber Maker」產品頁：https://www.fotor.com/features/ai-vtuber-maker/%EF%BC%89
6. Live2D 官方教學網頁：https://docs.live2d.com/cubism-editor-manual/divide-the-material/