语音大模型

作者 | 付知行 11月15日，数智音乐人Soi携手TME Studio全球同步上线了由尚雯婕担当音乐制作人的全新单曲《以我之名 Say My Name》，由此Soi正式出道。这首歌的成绩相当亮眼：QQ音乐上单日万人播放、强势入围电音榜前30名；抖音上相关话题收获了过亿播放量，发行首日荣登抖音挑战榜第四；微博上相关话题阅读量达到了1252.9万。 在《以我之名 Say My Name》的MV中，高饱和度的紫红色背景里，富有科技感的荧光线条与绚丽的光影交错摆动，升降台缓缓而起，身形苗条、身着时尚套装的Soi随着音乐的律动随之而舞，背景从城市高空切换到室内舞台，百种场景里，Soi呈现了一场满是科技感的高质量音乐表演。Soi背后的“幻方势代”团队，是素有“电音女科学家”之称的尚雯婕，以及两位怀揣音乐梦想的科学家，来自复旦大学的葛启阳博士与胡子欣博士多年来倾力打造的AI赋能的全链路音乐创作新范式。 不止唱跳，爆款《以我之名 Say My Name》潜力无限 “整首歌的曲风洋溢着复古感强烈的节奏鼓点，冲突性和融合性的奇妙碰撞，搭配她丝滑的声音演绎，确实让听众如同进入了虚虚实实的一个梦幻舞池之中。” “太上头了，没想到这居然是AI唱的歌，音色动听，曲风欢快，还能听出欢乐的情绪，请多出点作品！” 社交媒体上，乐评人、歌迷们不吝于表达对Soi单曲《以我之名 Say My Name》的喜爱之情。 “我们的目标，是要打造一首优质、有风格、有情绪的高质量流行歌曲。”制作人尚雯婕在采访中说出了对《以我之名 Say My Name》的期待。事实上，《以我之名 Say My Name》确是全球所有AI辅助音乐创作中水准最高的一首，整个歌曲在架构、进程、旋律方面，已经达到了商业爆款的水平。这首歌也凝聚了幻方势代多年的技术积累。 音乐人尚雯婕一直在尝试将前沿技术与理念引入到音乐创作中。多年来，她也一直在关注音乐领域数字化的可能性。 音乐人尚雯婕 2020年，尚雯婕担任微软小冰的AI音乐顾问时，就已成为国内最早接触AI音乐的先行者。如今，幻方势代聚集一众怀揣音乐与科学梦想的音乐人、科学家与工程师，共同致力于以人工智能与数字孪生技术赋能泛音乐、进行高质量版权产品创作。 小编以为，某种程度上，也唯有幻方势代这样拥有兼具科学和音乐才能的复合型人才团队，才能让AIGC音乐有从理论走到实践的能力。 今年5月，“AI孙燕姿”“AI周杰伦”等在全网爆火。但这些“AI歌手”要如何继续发展一直没有一个准确的答案。在整个AI+音乐领域，上半年国内爆火的相关数字人项目，也是“美则美矣，只是皮囊”，很多在现阶段还缺乏清晰和长久的运营思路。 而幻方势代打造的Soi，则某种程度上提出了解决上述问题的途径。音乐内容上，Soi可以完成音乐作曲、作词、编曲、演唱等多项内容，能持续产出有情感的音乐作品，也能产出优质的平面、视频等物料内容，从而能实现多元化场景的商业化落地。 音乐类型上，Soi则选择了难度最大的唱跳风格——即要求Soi同时掌握说、唱和舞蹈等多种技艺，每一项都需要长时间的技术磨合和实践，并要将它们融合起来在表演中无缝切换，这对于任何现有的单一技术背景的团队来说都难度极大。而这，也得益于幻方势代的技术积累和整合运用，才能做出如此高综合分的产品。 如今，Soi的成片质量得到了市场的认可，也充分向市场证实了AI+音乐的作品有着无限可能性。未来，当Soi推出更多的作品时，Soi的IP形象也会逐渐养成，属于Soi、属于AI+音乐的新时代正在开启。 艺术、科学和工程，三位一体打造IP，成就商业奇迹 目前，DeepMusic、小冰、网易云音乐、ME Studio等国内音乐公司，都或早或晚开启了他们在AI编曲、AI作词、AI声纹等领域的探索，并在自身业务方向取得各自的突破。在此背景下，幻方势代想要覆盖AI音乐创作最广业务的野心也能算顺理成章。 2022年8月，幻方势代与众多主流媒体联手打造了数字人时，已经拥有了领先的技术，跑通了相关领域的市场难点。 相较于大语言模型，音乐大模型涉及捕捉和处理音高、节奏、音色等多维度音乐元素的细微差别，同时还要理解和再现音乐作品中的情感和风格，技术上极具挑战。 因此，与市面上常见的AI团队不同，幻方势代拥有着一支精通乐理和科技的创业者们。葛启阳和胡子欣均擅长多种乐器，整个算法团队也都有一定的音乐背景。采访中，胡子欣提到：“Soi的团队可以说是最懂音乐Know-how的，与其他的创业团队相比，我们兴趣所至。” 成立以来，幻方势代一直在探索将音乐、科学与工程融合的方式打造人工智能解决方案。为此，他们采用了知识与数据双驱动的大模型框架，音乐人、科学家与工程师同框的人机协同体系，让AI理解生成音乐作品。 目前，幻方势代拥有行业领先的人工智能技术。为了获得高质量的语料，团队自研了一套标注体系，收集了大量公网的音乐数据、歌词信息等。尚雯婕多年来在音乐领域的专业工程文件，也在当中发挥了关键作用。 “Soi不只是要创造一个唱跳艺人，Soi要成为一个全能型创作者。”为此幻方势代的科学家团队与国内外音乐行业经验最丰富的一批导师一起学习如何创作，并将这个过程融入到Soi的训练中。通过仿生传统音乐创作路径研发的人机协同的逐步式学习与生成模式，Soi和我们一样，每天在听各种音乐、在豆瓣上看各种评论、在寻艺上追流量艺人。这些信息流向位于服务器的大脑中，迸发出各种灵感并且通过音乐表达出来。此外，胡子欣戏称，“Soi也需要一些套路应付工作，我们引入了DDPM、强化学习、GAN、规则模型等多个模型，让Soi可以完成深度个性化生成任务目标。”...