AI如何輔助劇作突破感官疆界？當語音辨識技術導入展演應用

當「唸台詞」傳達的「不只是聲音」，劇場將迎來什麼樣的跨感官敘事能量？本文透過文化科技共製展演實例《潮來之音》語音互動版，簡介當AI語音辨識技術導入展演應用，如何讓一句台詞如「我很滿意」，經科技加值，將情緒渲染為可視影像，隨演著員雀躍、憤怒、平穩的情緒詮釋切換，為觀演者帶來截然不同的視聽覺情境張力。

圖1：《潮來之音》歐洲巡演演前記者會－演出實況
資料來源：資策會

臺灣AI文化科技作品，現身國際指標展會

曉劇場原創劇作《潮來之音》，啟發自COVID-19疫情期間，人民在危難中更顯鮮明的情感體現，探討存在的意義、跨物種的愛、孤獨與陪伴。原作經由大量口語化台詞，堆疊出現代人們細瑣卻深刻的日常生活情境，劇作於2020年首演後佳評如潮。

今（2023）年度曉劇場受台灣技術劇場協會（TATT）邀請，擔任當今少數得以「臺灣」名義參與的國際藝文活動－布拉格劇場設計四年展（Prague Quadrennial of Performance Design and Space，簡稱PQ）第十五屆「臺灣國家館」策展團隊。

呼應PQ2023主軸【RARE】：具獨特與稀有性的原始本質、緊扣現今生存環境、疫情過後的未來世界和劇院樣態，策展團隊將本屆臺灣國家館定調為【稀有之船—臺灣The Rare Ship, Taiwan】，將島嶼獨特的型態比喻為一艘承載著多樣人文、山林潮水、未來科技的稀缺之船，涵蓋「人之船、多元之船、科技之船」三條策展支線，其中「科技之船」由曉劇場投入《潮來之音》等原創劇本，並委由資策會擔任數位轉譯顧問、技術研發夥伴，導入AI語音辨識即時生成視覺影像技術，共製《潮來之音》語音互動版。

圖2：PQ2023【稀有之船—臺灣The Rare Ship, Taiwan】展區實況
資料來源：台灣技術劇場協會

文化提問，數位轉譯投入AI處方箋

策展之初，文化團隊對科技加值於現有劇作較難有實際想像，資策會顧問團隊以數位轉譯顧問服務，輔助文化團隊剖析劇作文本與過往展演樣態，掌握「多台詞」等特點，深入探索各項數位加值可能。過程中，文化團隊拋出關鍵提問：「在面向國際受眾的舞台上，如何讓『唸出台詞』傳達的『不只是發音和語意』？」意即，是否能透過某種加值方案，讓全球受眾在觀賞展演時，能超越語言藩籬，接收到劇作、演員更廣泛層面的資訊傳達。

對此，資策會數位轉譯顧問團隊提出「人體五感接收疊加」科技加值方案，導入「AI語音辨識」技術，當演員讀出一段台詞，系統即刻解析語音中的音量、音頻、語速等聲紋數值，並將數值傳送至影像控制系統，即時驅動虛擬場景物件元素產生相應的動態變化，再經由12K大頻寬顯示呈現。

舉例來說，當演員情緒激動高亢大聲的唸白，AI語音辨識系統會接收到大音量、高音頻等聲紋數據，並即時將數值轉譯為圖像驅動訊號，觀眾會在大螢幕上看到場景轉變為陰沉的天色與洶湧的浪潮；而當演員情緒平緩的小聲唸白，AI語音辨識系統接收到較小的音量數值、較低的音頻數據，驅動影像呈現出明亮的天色與平穩的潮水。

圖3：當演員情緒高亢大聲唸白，場景呈現陰沉的天色與洶湧的浪潮
資料來源：公視新聞

圖4：當演員情緒平穩小聲唸白，場景呈現明亮的天色與平緩的浪潮
資料來源：公視新聞

此次《潮來之音》語音互動版文化科技劇作，啟發自文化團隊提出的關鍵議題，經數位轉譯團隊開立AI處方箋，由科技技術團隊開發AI語音辨識即時生成視覺影像技術，讓一句台詞所傳達的訊息，不再只是由聽覺接收，而是疊加了視覺體驗，具體呈現如情緒等細緻資訊。也由於聲音視覺化科技導入，每一場演出皆會因應演員當下的聲音變化，構組有別以往的畫面呈現，使演出的「獨一無二」特性更為顯著，為喜愛劇作的民眾添一筆「再進劇場」的誘因。

未來展望：AI輔助實現劇場參與文化平權

《潮來之音》語音互動版合作經驗，令文化團隊對科技導入劇場、劇作的多元可能性，有別於合作之初的沒有想法，已然湧出許多想像。曉劇場鍾伯淵藝術總監表示：「我們在這次初步合作中，有了很好的第一步，未來技術如何運用，讓聽障、視障表演者可以融入劇作中，跟整個劇場元素統整在一起，是值得繼續探索的方向。」

此次AI語音辨識即時生成視覺影像技術導入劇作，為《潮來之音》等作品加值「多元觀演體驗」，實踐「面向觀眾」的文化科技實證；緊接著，文化團隊拋出「文化平權」提問，針對「面向演出者」的劇場參與平權議題，數位轉譯顧問、科技團隊將如何延伸AI科技方案接招，亦或是另闢技術策略來解題，有待各領域菁英集思廣益。

圖5：《潮來之音》歐洲巡演演前記者會－展示實況
資料來源：資策會

資料來源：

1. 封面圖片來源：https://art.ltn.com.tw/article/paper/1583464
2. 舞台作《潮來之音》結合AI演員聲線可轉化為影像｜20230517公視晚間新聞：https://www.youtube.com/watch?v=VEvLsIbj3KQ
3. PQ 2023：https://pq.cz/
4. 曉劇場：https://www.shinehousetheatre.com/
5. 台灣技術劇場協會：https://www.tatt.org.tw/