【慶回歸】浸大人機合唱《東方之珠》 AI舞蹈家表演自編芭蕾舞

藝術與科技的融合，有助人們發掘更多前所未見的可能性。香港浸會大學將於下星期四（14日）晚舉行周年音樂會，結合該校最新的AI藝術科技研究成果，以「重聚」為主題慶祝香港回歸祖國25周年。負責項目及當日指揮的浸大協理副校長（跨學科研究）潘明倫介紹，音樂會將包括由AI舞蹈家Daphnis及Chloe表演經學習由浸大科學家收集的動作數據後自行編排的芭蕾舞，及由超過300個聲音組成的AI人虛擬合唱團唱出《東方之珠》，與浸大的真人交響樂團互動合作演出。同場亦會顯示由AI藝術家理解《東方之珠》歌詞和旋律後，自行創作配合歌曲意境的跨媒體視覺形象。這是全球首場同類的人機合作表演，為觀眾帶來嶄新的跨界交響樂體驗。

浸大的「香港人機共生藝術創造平台技術建設」項目去年獲研資局撥款5,283萬元，開展為期5年的藝術科技研究。潘明倫形容，是次演出是研究的「第一張成績表」，「但不是以『硬蹦蹦』的科學論文形式，而是一場實際的音樂會，向大家報告。」

他指出，今次採用的人工智能具備一定的理解、學習、自主能力，「不是由人去叫它做些什麼、行左行右，而是讓人工智能學習人類藝術的本質，讓它自主創作，再回來跟人合作（表演）。」

捕捉舞者動作 學習音樂理解

負責AI舞蹈家項目的浸大計算機科學系助理教授陳杰介紹，團隊邀得香港舞蹈團派員擔任「舞蹈老師」，透過動作捕捉技術（Motion capture）讓人工智能學習舞者對音樂的理解和表現方式，「在舞蹈家的腦海裏，這個動作對於某一段音樂、某一段故事情節，他的理解到底是如何……AI所學到的是箇中相對應的關係。」

當人工智能學習到舞者對音樂的理解與動態後，就會開始自行編舞。陳杰補充，團隊今次還加入了浸大團隊在香港新發現的一種箱型水母動態數據，作為人工智能的編舞意念，使其舞蹈更具特色。

通過數人音色 生成數百聲音

該系另一助理教授雪巍介紹，其負責的AI虛擬合唱團有約300道人聲，但最初用作給它學習的，其實只有數把人類聲音，「最初是錄製特定歌手的聲音，但他們不需要指定唱《東方之珠》，甚至無須唱歌，說話都可以，然後生成出這個人唱任何歌的模型。」第二步則是通過數個人的音色，生成出數百個不同的虛擬歌手，最後跟音樂家合作，訓練虛擬歌手們把歌唱得優美。

潘明倫說，有如教小朋友唱歌一般，虛擬歌手起初唱得並不好，「開始時會唱錯音、爆音，又或是唱不上高音等等，要透過程式不斷訓練，使其不斷改善。」

依據歌詞旋律 創作視像內容

AI藝術家的負責人、計算機科學系專業應用副教授柳崎峰介紹，AI懂得依據《東方之珠》的歌詞和旋律，自主生成3D視像內容，「內容會根據歌詞不斷變化，動態生成，其視角也會根據旋律而變化，例如音量高，視角也會飛得愈高。當節奏加快，視角向前的速度也會加快，就是以音樂特點驅動內容生成。」

在大約3分鐘的音樂裏面，AI藝術家合共生成約2,700張圖像，且畫面與畫面之間均有着緊密的邏輯關係，柳崎峰形容，這也可以理解是一個「說故事」（Storytelling）的過程。

「屆時觀眾會見到我們（交響樂團）真人演奏，背後有虛擬合唱團的聲音，前面則會有一幅很薄的幕，顯示相關影像內容。」潘明倫表示。團隊目前正把握最後時間，希望教會人工智能實時理解並配合指揮的動作，進一步深化人機互動。

音樂會資料

日期：2022年7月14日（周四）
時間：晚上8時
地點：香港大會堂音樂廳
演出：AI舞蹈家Daphnis及Chloe、AI虛擬合唱團、AI媒體藝術家、浸大交響樂團，是全球首場同類的人機合作的表演

節目查詢：3411 5153（mus@hkbu.edu.hk）
部分門票7月4日起在香港大會堂詢問處免費派發，每人限取兩張。先到先得，派完即止（查詢電話：2921 2840）

來源：香港文匯網