Nvidia Picasso，讓AI模型化為真實影像，不再抽象

Nvidia向來是發展AI影像的先驅者之一，其開發出以AI運算為基礎衍生的RTX光追蹤技術、深度學習超級採樣（Deep learning super sampling, DLSS）解析度提升技術及生成對抗網路（Generated adversarial networks, GAN）演算法等理論與技術；Nvidia近年將先前諸多AI技術整合運用，並導入AI生成式內容（AI-generated contents, AIGC）的繪圖和建模，近期推出了以知名抽象畫大師畢卡索為名的AI繪圖模型「Picasso」，讓使用者以隻字片語的抽象概念，藉由AI算圖的協助，轉化為栩栩如生的圖像，讓AI繪圖技術又往前邁出一大步。

【技術發展背景】

輝達（Nvidia）執行長黃仁勳在今（2023）年度的SIGGRAPH大會中，發表了包含Picasso在內的一系列AI相關產品，藉由與Adobe、Getty Images、Shutterstock等圖片版權方合作，建立了Edify圖像訓練模型，以版權方授權方式來解決源頭著作權侵權問題，保障AIGC使用者合法使用。

另外，Picasso的Edify圖像訓練模型，也能讓企業用戶提供訓練素材，在Nvidia DGX Cloud基礎設施上，與內建的版權圖片交互訓練，來實現AIGC的客製化，讓AI模型畫出跟畢卡索一樣的神來之筆。

【技術介紹與應用現況】

Picasso的系統部署在Nvidia DGX Cloud基礎設施上，使用者可提供自製模型、現有的大（小）型學習素材，在Picasso系統中，依據內建的版權圖片素材，將比較大的學習素材加以消化學習；同時，Picasso系統能將相對較小的自製模型、小型學習素材，加以調校和最佳化，讓模型產出更為精緻。

圖 1 Nvidia Picasso運作架構

資料來源：https://www.nvidia.com/zh-tw/gpu-cloud/picasso/

Picasso系統除了可以跟坊間AI產圖系統一樣，下關鍵字生成圖片以外，還可用關鍵字自動生成影片、繪製3D模型、生成360度環繞影像，讓AI生成圖片的技術和成熟度，推進到另一個層次。

例如360度環繞影像，早期需要用照相機以快速連拍方式環繞360度逐一拍攝，現在藉由AI繪製的輔助，可用更快的速度來繪製環繞影像，並應用於自駕車、無人機、街景攝影等使用情境，讓使用者能看見四面八方無死角的視野。

另外，Adobe藉由導入Nvidia Picasso的技術，並結合Adobe的版權圖片訓練模型Firefly，讓Adobe除了具備專業美工繪圖能力外，追加了AI生成圖片的能力，以AIGC技術降低了美工繪圖入門門檻，讓關鍵字表達的意境和美工繪圖合而為一。

【未來展望／挑戰】

Nvidia累積AI演算法和電腦視覺的領域知識和豐富經驗，打造出Picasso系統，並結合內建版權圖片資料模型，讓使用者比以前更容易理解和創作AI生成圖片，也能讓使用者以版權圖片為基礎，來刺激使用者的創造力，青出於藍、更勝於藍。

封面圖片來源: 123RF

參考資料

1. Lang, J. (2023, August 8). Nvidia’s SIGGRAPH Keynote Showcases New AI 3D Background Feature Developed With Shutterstock. Retrieved from Cartoon Brew: https://www.cartoonbrew.com/tech/siggraph-nvidia-generative-3d-background-shutterstock-231332.html 
   
   
2. McPhee, S., & Albro, E. (2023, March 21). Adobe and NVIDIA Partner to Unlock the Power of Generative AI. Retrieved from Nvidia: https://nvidianews.nvidia.com/news/adobe-and-nvidia-partner-to-unlock-the-power-of-generative-ai 
   
   
3. Paul, J. (2023, August 8). Shutterstock Brings Generative AI to 3D Scene Backgrounds With NVIDIA Picasso. Retrieved from Nvidia: https://blogs.nvidia.com/blog/2023/08/08/shutterstock-generative-ai-picasso-360-hdri__trashed/ 
   
   
4. Sag, A. (2023, August 21). The Graphics Industry Came Together At Siggraph 2023 — Dominated By Nvidia. Retrieved from Forbes: https://www.forbes.com/sites/moorinsights/2023/08/21/the-graphics-industry-came-together-at-siggraph-2023---dominated-by-nvidia/