灰姑娘變身不再是童話,虛擬試衣讓妳一鍵換新衣


  看過童話故事的人都知道,灰姑娘只需仙女施法,便能換上漂亮的禮服,同樣地,動漫作品裡也有過不少變身橋段,人物發個光、轉個圈便能換上新衣,現在,這個幻想能夠藉由AI運算幫你達成。

    逛街買衣服時,往往需要花許多時間在試穿上,只為比對衣服款式及花紋對不對得上眼,的確,很多時候衣服的細節如版型、款式、質地甚至是紋理皺摺,都再再影響消費者的判斷。借助虛擬試衣(Virtual Try-On Network)的發展,或許在不久的將來,大眾能享受更為便利的購衣體驗。

   虛擬試衣(Virtual Try-On Network,VTON)呈現的方式,便是能用一張人物照,來更換你所選定各式各樣的衣服。有別於3D模擬建模需要較長的前置作業時間,運用平面圖像的虛擬試衣只需試穿者的照片,便能迅速換衣。

   以這個模型為基礎,發展出深度學習的CP-VTON模型。CP-VTON一樣能將任何衣服圖樣穿到任何圖片的人物上,更進一步,它另外生成了衣服皺褶、紋理等細節部分,讓同張照片的模特兒著衣時更加真實自然,此外,AI甚至還能幫穿長袖衣服的模特兒,換上短袖衣服。 

資料來源:https://github.com/sergeywong/cp-vton

圖說:換穿對於消費者來說,是麻煩卻必要的步驟,畢竟實穿搭配後,才能看出衣服合不合身 

技術解釋  

  CP-VTON能隨意將衣服穿到任何人物身上,並保留模特兒臉與姿態及衣服的花紋,且不易產生違和感。CP-VTON是一種兩步驟的生成模型,分別訓練生成衣服皺褶與把衣服轉移至人體的網路,第一步驟讓網路學會根據模特兒的肢體特徵正確地進行皺摺;第二步驟,學習皺褶過的衣服貼到模特兒身上,這個過程解決衣服直接拼貼上模特兒時的瑕疵。

  效果如何?以下使用由模型原作者公開的github專案,來實作CP-VTON智慧試穿,這裡使用原測試資料集的模特兒,搭配網路上隨意取得的衣服,經過CP-VTON完成換衣效果。

資料來源:https://github.com/sergeywong/cp-vton

圖說:CP-VTON實作成果

虛擬試衣下一步

  現代社會考驗消費者耐心,因此像虛擬試衣如此「立竿見影」的技術,自然會受到重視,只需一張平面相片及衣服就能看到成果,對生產者或消費者來說,不僅省力也省時。 

  舉例而言,衣服製造商需生產並展示大量試衣的圖片,這過程消耗不少時間在影像編輯上,有了虛擬試衣,不僅省下人力,也節省了為展示衣服而支出的化妝、棚拍成本;以消費者來說,最直接的受益者,可能是試穿婚紗禮服的新郎新娘,只需提供試穿者圖片,便能省去穿脫時間看到試衣結果。 

  電商龍頭亞馬遜(Amazon)亦當仁不讓,計畫未來將這樣的AI智慧引進購物網站,使得螢幕中的平面模特兒圖像,可以綜合生成消費者指定的各式外貌穿搭,作為消費者購物參考。 

  後續改良方面,在提取人物的姿勢、肢體區塊資料,例如避免人物手勢對軀體區域的干擾,能夠讓模型生成的精緻度更好,另外,也有後進研究者使用GAN作法強化圖片細節,或是提供詳細的衣服特徵來提升衣服花紋精細度。

參考來源:

https://github.com/sergeywong/cp-vton

Amazon’s new AI technique lets users virtually try on outfits

https://venturebeat.com/2020/06/05/amazons-new-ai-technique-lets-users-virtually-try-on-outfits/

延伸閱讀
作者相關文章