AI繪圖從2D逐漸往3D繪圖發展
自從AI繪圖掀起風潮之後，AI演算法發展日新月異，在2D的繪圖品質也開始接近、甚至挑戰真人手繪，使得AI在藝術界的運用，讓人們感到既期待又怕受傷害。AI 2D繪圖市場在即將面臨飽和之際，科學家也開始著手發展AI 3D繪圖，從建模、貼圖、打光、算圖一條龍全自動產生，讓AI繪圖邁向全新的境界。
從2D到3D...AI繪圖發展迅速
在「文字到圖像（Text-to-image）」的AI演算法自動繪圖工具（例：MidJourney、Stable Diffusion）開始流行以後，自動化的2D平面繪圖技術，隨著產圖品質的提升，逐漸接近真人作畫，已然進入技術成熟期和穩定期。下一個挑戰就是以AI演算法進行3D繪圖，並且可以跟2D繪圖一樣，藉由輸入關鍵字，依據蒐集到的資料集與關鍵字匹配，並依據匹配結果來產生3D圖像。
3D圖像的產生需要消耗大量硬體資源和時間，來進行建模、貼圖、打光、算圖，加上要整合AI演算法和資料集，以關鍵字來產生3D影像，程序上會比2D繪圖更為複雜，除了要考慮繪圖成果與輸入字串的近似程度以外，還要考慮後台的軟硬體運算能量，才能用AI產生逼真的3D繪圖場景。
IT大廠為先鋒 搶進AI 3D繪圖領域
有鑑於AI 3D繪圖需要投入較多的軟硬體資源，AI 3D繪圖技術近期以資源較為豐富的IT大廠作為先鋒，例如OpenAI、NVIDIA等。
OpenAI的團隊推出了「Point-E」技術，可藉由輸入一串文字來自動產生3D模型物件，其演算法可依輸入的文字來推算出符合條件的3D模型框架，並將之描繪出來；該機制先用傳統的文字轉2D圖片，再用另一種描繪三維座標的演算法，將2D圖片改繪為3D模型。
圖 1 Point-E運作概念圖
資料來源： (Nichol, Jun, Dhariwal, Mishkin, & Chen, 2022)
另外，由Nvidia團隊推出的「Magic 3D」方案，在輸入關鍵字（Prompt）之後，該系統分成模型和貼圖兩部分演算法運作，先找出模型關鍵字來產生形體，再找出色彩或外觀的關鍵字來為模型貼圖，兩者合成之後就成為即時產出的3D模型。
圖 2 Magic 3D運作概念圖
資料來源： (Lin, et al., 2022)
3D列印與AI 3D結合，可促進藝術跨領域發展
在AI 2D繪圖市場逐漸成熟及飽和之際，AI 3D繪圖則是剛開發的處女地，這些由AI演算法生成的3D模型，現階段就像未雕琢的璞玉，尚待日後更精進的技術讓AI 3D建模更為栩栩如生。
未來隨著3D列印逐漸普及化，AI 3D繪圖可與3D列印相互整合，不但可以省下人工3D建模和貼圖的時間，也能使3D列印產品更快速、更大量的生產，促進IT、藝術、工業設計等跨領域整合。
封面圖片經圖庫123RF授權使用
參考資料
- Lin, C. -H., Gao, J., Tang, L., Takikawa, T., Zeng, X., Huang, X., . . . Lin, T. -Y. (2022, November 18). Magic3D: High-Resolution Text-to-3D Content Creation. doi:10.48550/arXiv.2211.10440
- Nichol, A., Jun, H., Dhariwal, P., Mishkin, P., & Chen, M. (2022, December 16). Point·E: A System for Generating 3D Point Clouds from Complex Prompts. doi:10.48550/arXiv.2212.08751
- Salian, I. (2022, March 25). NVIDIA Research Turns 2D Photos Into 3D Scenes in the Blink of an AI. Retrieved from Nvidia: https://blogs.nvidia.com/blog/2022/03/25/instant-nerf-research-3d-ai/
- 林士蕙. (2022年12月23日). OpenAI揭祕》再推自動生3D，誰得利？. 擷取自 遠見雜誌: https://www.gvm.com.tw/article/97957
延伸閱讀