資策會數位轉型研究院─FIND中心

生成式人工智慧（Generative AI）對音樂的編曲、填詞、演奏等各方面，帶來了巨大的衝擊與變革，使得數位化的音樂編輯軟體、混音器（Mixer）、合成器（Synthesizer）面臨空前挑戰。例如Adobe Audition、Nuendo、Cubase、Pro Tools等，希望能在AI生成音樂的趨勢中，借助生成式AI的力量和潛能，讓傳統音樂編輯軟體加入新要素，並配合既有的進階功能，增添來自人類的創意與變化，使AI產出的音樂片段更接近人性。

【案例服務說明】

以Photoshop、Illustartor等美工設計軟體為代表的知名大廠Adobe，自從面臨AI生成圖畫的衝擊後，2023年Adobe推出了AI生成圖片引擎「Firefly（螢火蟲）」，除了具備跟坊間AI圖片生成引擎一樣的關鍵字自動繪圖外，也能產生較為簡單的合成音效。

Adobe後來針對AI生成音效和音樂進行加強，另外推出了比Firefly更先進的「Project Music GenAI Control」計畫，使用者可以下達音樂曲風、音樂情緒的關鍵字（例：快樂的舞曲、帶有情感的爵士樂）來產生完整音樂片段；另外，「Project Music GenAI Control」計畫預期具備自動補完前後段樂曲的功能，使用者可選定一段音樂片段，並經由AI運算以及使用者的長度需求，讓選定的音樂片段，衍生為一首完整的樂曲。

圖 1 以Adobe系統試做一段A-B-A三段形式樂曲

資料來源： (Weatherbed, 2024)

Adobe Project Music GenAI Control計畫，預計用於音樂編輯軟體Audition，以及影片編輯軟體Premiere之中，預計用於更專業的影音編輯功能上。

圖 2 Adobe Premiere整合自動生成背景音樂概念圖

資料來源： (Adobe Research Team, 2024)

另一方面，開源音樂編輯軟體Audacity，利用可跟多種開源套件串接的獨特性，來擴增音樂編輯機能、開發新的音樂創作潛能；而Audacity則整合了Intel的OpenVINO套件，可利用AI來自動調音、降噪、重錄片段、混音，使用者也能進行細部微調，讓AI自動重製的音樂片段，產生更豐富的變化。

圖 3 Audacity整合OpenVIMO，以關鍵字自動混音

資料來源： (Metcalfe, 2024)

此外，OpenVINO亦提供跟AI繪圖一樣的提示詞（Prompt）下指令方式，自動產生特定曲風和節奏的音樂片段，也能指定要使用何種樂器，讓使用者不但能夠自動作曲、自動伴奏，還能讓音樂從無到有的過程一手掌握。

圖 4 Audacity整合OpenVIMO，以關鍵字自動作曲

資料來源： (Metcalfe, 2024)

然而，OpenVINO為Intel所開發的AI生成套件，雖以開源釋出，但必須搭配指定的Intel CPU才能使用；另外，Intel CPU的內建GPU晶片，雖然不如AMD、Nvidia等獨立顯示卡具備較迅速的繪圖能力，但內建CPU晶片仍足以產出音樂片段，同樣具備AI創作能量。

【應用效益與成果】

相較於有形的AI生成圖畫產出後能一目了然，無形的音樂則更需要花時間和專注力，來評斷AI是否有達到跟使用者的需求和期待；而AI生成音樂有別於MIDI電子合成音樂，需要在音樂編輯和創作的過程中，在正確的時間軸上自動加入關鍵的片段，來達到畫龍點睛之效。

以後若同步整合AI生成影像與圖畫，AI就能夠描繪出帶有背景音樂和音效的完整影像與動畫，讓AI帶來輔助創作的關鍵價值；例如Adobe將AI整合進美工和影音編輯，同時結合龐大的內建影音素材，讓AI創作者能站在巨人的肩膀上，有益於學習和創意發想，達到駕馭AI的目標。

【FIND觀點】

AI雖然對音樂創作帶來了衝擊，卻也讓音樂人才的短缺帶來了一絲曙光；藉由AI解決一部分音樂學習的難度和門檻，可望讓音樂人才培育有向下紮根的機會，讓兒童和青少年以更迅速、更便利的方式，了解並學習音樂的奧妙之處，引人入勝，才會激發學習的動力和毅力。

AI生成音效／音樂工具探討，以Adobe和OpenVINO為例

AI生成音效／音樂工具探討，以Adobe和OpenVINO為例