迪士尼研發換臉技術,讓演員能自動變老變年輕!


AI圖像演算技術越來越成熟,有許多軟體可以將現實人臉動漫化,或把臉部肖像的年齡、性別做更動。這類AI演算原理來自機器學習「生成對抗網路」(GANs;generative adversarial networks)的應用,透過大量數據資料餵食,讓AI學習面部表情的辨識與轉換。

【案例簡介】

在影視領域中,常有演員出現在不同時間軸的場景需求,過往常使用的方式為特效化妝,特效化妝能讓演員變老,但是當要使演員呈現出比實際年紀年輕許多的樣貌時卻會面臨困難。故研發人員致力發展能使演員顯示年齡樣貌與劇本需求相符合的數位生成程式。現也已有各種人工智慧換臉程式出現,如 Adobe Photoshop或FaceApp等,都能在幾秒鐘內使面部樣貌自動老化。

然而,這些軟體對於輸出結果控制度低,可選擇的年齡範圍也較小。在2022年12月,迪士尼宣布開發出最新的AI系統「FRAN」(face re-aging network),能省略複雜的工作流程,僅約5秒就能讓演員變年輕或變老,快速達成劇組需求。

圖1 : 迪士尼研發AI系統「FRAN」輸出結果圖

圖片來源 : 迪士尼官網

【服務內容】

過去要重塑演員面部年齡呈現的方式有透過3D建模和2D繪畫兩種方式,前者要先掃描演員容貌,建立一個重訂年齡的3D模型,再將演員的面部表情套用在新模型上,耗時較久且相對費工。故較常使用的方式是2D繪畫,儘管相對簡單,後製人員仍須花費數日才能手動逐幀修改完成。迪士尼針對這項痛點所研發的FRAN技術將可大量精簡人力與時間成本。

在研發時,由於要蒐集同一人在不同時期的面部數據並不容易,故迪士尼以工人智慧方式,請美術人員繪製多張老化及年輕化的臉孔照片,建立起縱向的容貌資料庫。臉部資料庫設立完成後,透過訓練U-Net 架構的深度學習技術,對面部容貌進行數位處理,隨機選出7,000張照片分析過後,將老化結果交由FRAN分析,預測老化版本的容貌特徵,並將其效果以圖層方式覆蓋在輸入圖像之上。

圖2 : U-Net 架構流程

圖片來源 : 迪士尼官網

與其他已開發的系統如LATS、SAM相比,FRAN更能有效截取面部影像在動態時的生物特徵、皮膚細節,且避免了背景模糊、變形,解析度也較為穩定,整體而言提供了更佳的美術效果。

圖3 : 迪士尼開發之AI系統「FRAN」與其他已開發系統輸出結果之比較

圖片來源 : 迪士尼官網

最後FRAN也提供了簡單的機制,讓後製人員能更精細的針對影片中演員容貌進行人工微調,強化美術效果。

【應用效益與評析】

FRAN AI 系統目前仍有幾項技術問題尚未克服,其一為由於此系統仰賴大量圖像數據,因此目前僅能應用在18-85的年齡區間。另外,迪士尼也表示,目前所擁有的數據要能順利進行頭髮變白的演變是較為困難的。

若這類技術成熟,日後將可減少繁雜後製過程,除了對影視、娛樂、廣告產業帶來革命性影響外,更能適用於醫療、化妝品、法醫學或失蹤人口協尋等對於數位面部模擬有需求的領域,為產業帶來更佳快速、準確的應用效果。

【FIND觀點】

科技日新月異,隨著AI技術越來越精進,將可為產業帶來更快速的生產流程並節省時間及人力成本。以影視產業而言,可以想見在未來,後製人員可以將心力專注在進行演員面部更加精細的微調,讓整體畫面呈現效果更加卓越。故面對這類科技出現,不需抱有人工智慧將取代人類工作的恐慌,因科技應是為人所用,與人協力的工具夥伴。

 

參考來源:

1、封面圖片來源 : Pexels

https://www.pexels.com/zh-tw/photo/8728008/

2、Production-Ready Face Re-Aging for Visual Effects

https://reurl.cc/x1Mzge

3、迪士尼打造「FRAN」技術,能以人工智慧讓影片登場演員變老或恢復年輕

https://reurl.cc/Z13Y73

4、把哈里遜福特變小鮮肉!迪士尼曬FRAN變齡技術,AI將成好萊塢化妝師?

https://pse.is/4l33c4

5、任轉肌齡靠 AI Disney 開發改變演員容貌年齡 AI 系統 FRAN

https://pse.is/4nsge9

延伸閱讀
作者相關文章