挑戰Sora 的AI影片生成對手Luma Dream Machine,短影片生成技術大解密!

post image

隨著人工智慧(AI)技術不斷進步,影像生成技術也得到顯著的發展。早期的影像生成主要依賴傳統的動畫製作和編輯工具,需要大量的人力和時間。隨著深度學習和神經網路技術的引入,影像生成進入一個全新的階段。這些技術能夠自動分析和生成高品質的影像內容,大大減少人力成本和製作時間。

在這樣的背景下,許多公司開始投入影像生成技術的研發。最具代表性的就是 Sora,起初它以「一名時髦女子走在東京街頭」生成的示範影片,讓外界見證到Sora文字生成影片的超強功力,迅速震驚了影視行業。然而,隨著市場競爭的加劇,新一代的影像生成工具也逐漸嶄露頭角。Luma Dream Machine 就是其中之一,它利用最新的 AI 技術,提供免費的影像生成服務,試圖挑戰 Sora 的市場地位。

技術介紹

Luma Dream Machine 是一款基於深度學習技術的影片生成工具。它利用生成對抗網路(GANs)來建立影片。Luma Dream Machine還結合了其他先進的技術,如時間一致性處理和圖像增強技術,以確保生成影片的流暢度和真實感。時間一致性處理技術可以確保影片中的連續幀之間沒有明顯的斷裂或跳躍,而圖像增強技術則能進一步提升影片的畫質和細節。

另一大特點是提供了簡單的使用者介面與免費使用的模式。使用者只需簡單的上傳幾張圖片與文字描述(prompt),系統就可以自動生成最長5秒的短影片,不僅降低了影片創作的技術門檻,還大大節省了時間和成本。

使用教學

1.到Dream Machine 官方網頁 (https://lumalabs.ai/dream-machine),按下「Try Now」按鈕

Dream Machine 官方網頁

圖一:Dream Machine 官方網頁頁面
資料來源:Dream Machine 官方網頁

2.選擇 「Sign in with Google」,使用自己的 Google 帳號登入

Dream Machine 官方網頁登入畫面

圖二:Dream Machine 官方網頁登入方式
資料來源:Dream Machine 官方網頁

 3.登入後就可以開始使用 (每月免費生成影片限額為30次,另有付費方案)

Dream Machine 官方網頁輸入畫面

圖三:Dream Machine 操作畫面
資料來源:Dream Machine 官方網頁

 4.上傳蒙娜麗莎圖片,輸入自定義提示文字

上傳說明

圖四:Dream Machine 上傳方式畫面
資料來源:Dream Machine 官方網頁(本文作者製作)

5.等待兩分鐘,即可生成5秒短影片 (微笑與眨眼)

蒙娜麗莎生成畫面

圖五:Dream Machine 生成蒙娜麗莎動態畫面
資料來源:Dream Machine 官方網頁(本文作者製作)

6.更換提示文字

更換提示文字

圖六:Dream Machine 更換提示文字畫面
資料來源:Dream Machine 官方網頁(本文作者製作)

7.產生新的短影片 (出現詭異手)

新產生蒙娜麗莎影片

圖七:Dream Machine 生成蒙娜麗莎動態畫面
資料來源:Dream Machine 官方網頁(本文作者製作)

【未來展望】
隨著人工智慧技術的進一步發展,可望在未來取得更大的突破。以技術層面來說,未來在生成對抗網路和其他深度學習技術將變得更加成熟,加上這段期間的資料蒐集與訓練,將加速提升影片生成的品質和效率。特別是在處理高解析度的影片和複雜場景方面時,有更好的表現。

再來是應用範圍的擴展與市場成熟度提高,有望進一步拓展其應用領域。目前市面上的影片生成工具還無法撼動整個動畫產業,也是因為每次生成的內容多少會有所差異,且在影片內容中會出現不合乎常理的明顯瑕疵,在內容產生與後製調整方面可能會需要花費更多的時間成本,但對於短影音平台來說,絕對是顛覆性的新工具。

未來Luma Dream Machine可以與其他人工智慧技術和數位工具結合,提供更加全面和多樣的服務。例如: 結合自然語言處理技術,能更簡易的轉譯出想輸入的文字描述生成影片;結合智慧眼鏡虛實應用技術,可建立AI沉浸式體驗。

封面圖片來源:Sora AI: https://openai.com/index/sora/

參考資料來源:

1.Luma Dream Machine - Luma Labs: https://lumalabs.ai/dream-machine

2.Dream Machine - Wikipedia: https://en.wikipedia.org/wiki/Dream_Machine_(text-to-video_model)

3.Sora: https://openai.com/index/sora/

4.Prado Mona Lisa: https://en.wikipedia.org/wiki/Mona_Lisa_(Prado)

古廸鴻

2024-08-08

分享: 0 瀏覽量: 757