【庆回归】浸大人机合唱《东方之珠》 AI舞蹈家表演自编芭蕾舞

艺术与科技的融合，有助人们发掘更多前所未见的可能性。香港浸会大学将于下星期四（14日）晚举行周年音乐会，结合该校最新的AI艺术科技研究成果，以“重聚”为主题庆祝香港回归祖国25周年。负责项目及当日指挥的浸大协理副校长（跨学科研究）潘明伦介绍，音乐会将包括由AI舞蹈家Daphnis及Chloe表演经学习由浸大科学家收集的动作数据后自行编排的芭蕾舞，及由超过300个声音组成的AI人虚拟合唱团唱出《东方之珠》，与浸大的真人交响乐团互动合作演出。同场亦会显示由AI艺术家理解《东方之珠》歌词和旋律后，自行创作配合歌曲意境的跨媒体视觉形象。这是全球首场同类的人机合作表演，为观众带来崭新的跨界交响乐体验。

浸大的“香港人机共生艺术创造平台技术建设”项目去年获研资局拨款5,283万元，开展为期5年的艺术科技研究。潘明伦形容，是次演出是研究的“第一张成绩表”，“但不是以‘硬蹦蹦’的科学论文形式，而是一场实际的音乐会，向大家报告。”

他指出，今次采用的人工智能具备一定的理解、学习、自主能力，“不是由人去叫它做些什么、行左行右，而是让人工智能学习人类艺术的本质，让它自主创作，再回来跟人合作（表演）。”

捕捉舞者动作 学习音乐理解

负责AI舞蹈家项目的浸大计算机科学系助理教授陈杰介绍，团队邀得香港舞蹈团派员担任“舞蹈老师”，透过动作捕捉技术（Motion capture）让人工智能学习舞者对音乐的理解和表现方式，“在舞蹈家的脑海里，这个动作对于某一段音乐、某一段故事情节，他的理解到底是如何……AI所学到的是个中相对应的关系。”

当人工智能学习到舞者对音乐的理解与动态后，就会开始自行编舞。陈杰补充，团队今次还加入了浸大团队在香港新发现的一种箱型水母动态数据，作为人工智能的编舞意念，使其舞蹈更具特色。

通过数人音色 生成数百声音

该系另一助理教授雪巍介绍，其负责的AI虚拟合唱团有约300道人声，但最初用作给它学习的，其实只有数把人类声音，“最初是录制特定歌手的声音，但他们不需要指定唱《东方之珠》，甚至无须唱歌，说话都可以，然后生成出这个人唱任何歌的模型。”第二步则是通过数个人的音色，生成出数百个不同的虚拟歌手，最后跟音乐家合作，训练虚拟歌手们把歌唱得优美。

潘明伦说，有如教小朋友唱歌一般，虚拟歌手起初唱得并不好，“开始时会唱错音、爆音，又或是唱不上高音等等，要透过程式不断训练，使其不断改善。”

依据歌词旋律 创作视像内容

AI艺术家的负责人、计算机科学系专业应用副教授柳崎峰介绍，AI懂得依据《东方之珠》的歌词和旋律，自主生成3D视像内容，“内容会根据歌词不断变化，动态生成，其视角也会根据旋律而变化，例如音量高，视角也会飞得愈高。当节奏加快，视角向前的速度也会加快，就是以音乐特点驱动内容生成。”

在大约3分钟的音乐里面，AI艺术家合共生成约2,700张图像，且画面与画面之间均有着紧密的逻辑关系，柳崎峰形容，这也可以理解是一个“说故事”（Storytelling）的过程。

“届时观众会见到我们（交响乐团）真人演奏，背后有虚拟合唱团的声音，前面则会有一幅很薄的幕，显示相关影像内容。”潘明伦表示。团队目前正把握最后时间，希望教会人工智能实时理解并配合指挥的动作，进一步深化人机互动。

音乐会资料

日期：2022年7月14日（周四）
时间：晚上8时
地点：香港大会堂音乐厅
演出：AI舞蹈家Daphnis及Chloe、AI虚拟合唱团、AI媒体艺术家、浸大交响乐团，是全球首场同类的人机合作的表演

节目查询：3411 5153（mus@hkbu.edu.hk）
部分门票7月4日起在香港大会堂询问处免费派发，每人限取两张。先到先得，派完即止（查询电话：2921 2840）

来源：香港文汇网