从曲谱到声音:AI音乐生成的三大环节及应用研究
语音大模型

从曲谱到声音:AI音乐生成的三大环节及应用研究

这篇文章主要介绍了人工智能音乐生成的三项核心环节:曲谱生成、演奏生成和声音合成。其中,词曲写作方面,作者们探讨了歌词生成旋律以及旋律生成歌词的两个任务,并分析了其特点,同时通过引入encoder-decoder attention机制,学习了歌词和旋律的对齐关系。此外,还介绍了一种基于音乐知识辅助的深度学习方法来实现歌词到旋律的生成。最后,作者们在三个数据集上评估了他们的研究成果,生成的伴奏已经接近真实伴奏。然而,他们也意识到AI音乐生成仍存在一些挑战,如理解音乐结构、建模音乐情感和风格、实现交互式音乐创作等。
聚焦 | 2023会是AI音乐和人类正面交锋的一年吗?
语音大模型

聚焦 | 2023会是AI音乐和人类正面交锋的一年吗?

来源 | 音乐先声作者 | 范志辉在自己的演出上,法国知名DJ David Duetta相信,“音乐的未来在于AI”。最近,他在Twitter上分享了自己在演出时候放歌的片段,随着几个声效,Eminem的声音响起,唱着“this is a future rave song……”,台下的观众都“为之疯狂”。据David Duetta介绍,这是他借助AI工具完成的歌曲。他先是在歌词生成网站上输入“以Eminem风格写一首关于Future Rave的歌”,然后再在虚拟人声的网站用Eminem的声线把歌词放进去播放。AI音乐带来的效果诚然是令人惊喜的,但很快也有人质疑,这样的做法是否涉嫌侵权。可以说,涉嫌侵权的确是AI音乐在应用中最令人担心的问题。自从ChatGPT爆火之后,人工智能似乎不再只是一种噱头或隐秘高端的技术,而是落地到让普通人也能触及的一种未来。尤其是近两年来,音乐公司、流媒体平台加速对AI技术的布局,Music LM、Jukebox等高端破局者还在摩拳擦掌,普通AI作曲平台已经接到如奥迪等大牌的商业合作。那么,2023年会是AI音乐和人类音乐正面交锋的一年吗?AI音乐会引发 “Napster效应”吗?AI逐渐发展,给音乐行业带来的首先确实恐惧。诚然,AI音乐代表着扩大创作边界、提高创作效率的利器,但也威胁着一批音乐人的职业生涯。最担忧的莫过于唱片公司们,AI是基于已经存在的音乐而发展的,却不必给唱片公司付一分钱,创作出的音乐甚至还能抢走一部分人类创作者的饭碗,唱片公司自然是不会轻易允许这种事情发生的。今年1月,代表三大唱片公司利益的RIAA(美国唱片业协会)向美国政府提交了报告,游说美国政府重视AI音乐侵权的问题。从去年起,RIAA就列出了以RemoveVocals和Songmastr等软件,指责这些软件通过现有音乐生成新音乐,是一种对音乐人和唱片公司的侵权行为。英国唱片业协会(BPI)也发出了同样的声音。由于去年英国政府为了促进人工智能发展,想让AI训练可以无需创作者和权利人的许可,随意使用包括音乐在内的创意作品,被英国音乐行业包括唱片业协会(BPI)机构在内的数家音乐行业组织机构强烈反对,让政府终于决定重新审视这一提案。从去年1月到9月,RIAA出现在15份政府游说报告中,申报的游说支出近540万美元,创下2018年以来游说支出新高,足见唱片公司们的重视程度。近来,这种担忧还有增无减。今年2月,环球音乐称,AI歌曲生成可能会给音乐人造成持久而广泛的伤害,呼吁不要放松版权法来推动AI发展,并且可能对版权保护造成Napster级别的危机。时针拨回到1999年,全球经济衰退正在一步步上演,旧有世界因为新技术的到来处于崩溃的边缘。在一片混乱中,因为CD业务的巨额利润,唱片行业正在享受前所未有的光明,而波士顿东北大学的宿舍里,一个早熟的程序员已经扼住了音乐行业的喉咙,并差点把它掐死。这个名为Shawn Fanning的程序员推出了主打P2P模式的音乐共享平台Napster,让年轻人们可以通过互联网共享彼此的mp3文件。上线仅4个月后,Napster就吸引了超过15万用户,8个月后超过了2640万,有些人甚至怀疑超过了8000万。16个月后,它的创始人就登上了《时代》杂志的封面。但Napster也成为了唱片公司们的噩梦。因为Napster,盗版音乐泛滥,人们能够通过互联网轻易获得音乐资源,磁带、CD和黑胶唱片的销量一落千丈,音乐行业的收入规模在之后20年都未能超过1999年的高峰,实体音乐收入更是大势已去,几乎每年都只能比去年更低。2019年,RIAA愤而起诉Napster,以Dr Dre为代表的艺人和EMI为代表的唱片公司都对其表示了强烈抗议。最后,Napster在和唱片公司、艺人的多次诉讼后于2001年被关闭,并让在Napster背后提供贷款的贝斯塔曼在2006年到2007年分别向环球音乐、华纳音乐、EMI、美国国家音乐出版商协会(NMPA)支付了千万到上亿美元不等,后起之秀Spotify则通过与版权方达成协定后,也成为版权方的最强打工人。如今的AI音乐,的确与Napster多有相似。AI工具借助广大的现有内容进行训练,可以按照用户的要求生成相应的内容,它和当年的Napster一样,代表着更新的趋势、更开放和高效的知识利用技术,但与此同时,AI工具同样也被指责“窃取”了创作者的果实。如果AI音乐真的广泛应用,确实很可能对音乐版权内容造成前所未有的重创。当然,新一代的AI破局者肯定既不想成为破局到破产的Napster,也不会想成为革了命但还是为别人卖命的Spotify,键就要看AI音乐公司们将如何与版权方们达成一致了。但面对再一次的技术革新,唱片公司们已经从Napster中学到了宝贵的一课。当年强硬拒绝流媒体的音乐公司们已经倒在了时代巨变的车轮之下,幸存的赢家都是懂得骑在车轮上让自己跑更快的老司机。这一次,音乐公司们虽然不无担忧,但已经争先恐后地以适合自己的方式加入AI音乐的浪潮。音乐公司拥抱AI音乐以环球音乐为代表的唱片公司们,一边重金让RIAA游说政府,担忧AI音乐的侵权问题;一边也下场成为玩家,生怕落于人后。如今,在众多音乐行业人士的助推下,AI生成工具已经涉猎作词、作曲、语音生成、编曲混音甚至发行等多个方面。在最受关注的作曲方面,AI创作的音乐已经在游戏、商业广告、环境音乐等功能性音乐方面有了广泛的应用。这对于想要减少版权成本的流媒体无异于是救命稻草。但在国外,或许是出于侵权隐忧,流媒体平台们并没有高调参与AI作曲工具的收购,Spotify在中东和北非的竞争对手Anghami也仅是声称自己很快将成为全球第一个托管AI歌曲超过20万首的平台。YouTube“一母同胞的兄弟”谷歌最近推出的音乐创作大杀器Music LM由于版权相关的担忧,仍被谷歌“封印”中。它被比作音乐版的ChatGPT,能够根据用户输入的文本创作歌曲。不过,外媒Vice给出的评价是,“在复制游戏音乐方面做得不错,但目前为止,它似乎无法写出能让你喜欢的艺人破产的歌”。OpenAI旗下的Jukebox、MuseNet也是类似的情况。在国内,这一赛道的入局者更多。字节跳动收购了AI作曲公司Jukedeck;“唱鸭”基于华为独创的AI Singer模型,让用户只需输入歌词就能完成创作;网易还推出了网易天音,并上线“网易天音”拜年小程序,让用户输入歌词即可生成拜年歌,并用AI歌手进行演唱;快手也自主研究了AI音乐创作模型和AI歌手,并推出“小森唱”,通过AI为用户打造专属歌曲 。有趣的是,唱片公司们对此也很积极。AI音乐公司Endel主打提供专注、放松、睡眠场景的音乐,已经得到了华纳音乐、AVEX、索尼、Concord音乐、Royalty Exchange等音乐公司的投资,目前合作对象包括梅赛德斯·奔驰研究部、日本全日空航空公司、澳洲消费电子公司Nura;还有华纳音乐协助发行专辑,联合索尼研究耳机,与音乐家Grimes联合创造的名为“AI Lullaby”的睡眠音乐,更是成为了当时的头条。2022年,华纳音乐还投资了AI音乐公司Lifescore,后者的应用场景包括直播、汽车、睡眠、健身、游戏还有元宇宙,合作对象不乏奥迪这样的大品牌。或许正是版权问题尚未得到解决,让AI作曲软件有侵权风险,让音乐公司更倾向于让AI推荐音乐创作类工具的发展。比如索尼CSL(电脑科学研究室)在2020年推出的AI辅助音乐创作应用Flow Machines,在2022年还推出了名为“SampleMatch”的机器学习模型,可以从档案中检索出与特定曲目匹配的乐器采样,帮助创作。环球音乐、迪士尼、微软等还投资了AI驱动的音乐创作平台Soundful。或许是由于得到各位“版权狂魔”的支持,Soundful在内测阶段就已经搞定了所有版权授权问题,让用户可以放心对音乐进行视频、广告、社交媒体等平台的使用。华纳音乐则参与了AI编曲软件Landr的种子轮投资,后者可以提供远程团队合作、自动化的母带处理,还能分发到超过150个流媒体平台,帮音乐人完成创作的“最后一公里”。Spotify的Basic Pitch,则可以帮助音乐人高效完成音乐转录。而最近谷歌推出的新软件SingSong,让用户只需要哼唱,就能生成对应的伴奏,简直让音痴也能完成歌手梦。在国内,网易云音乐对AI音乐创作辅助平台AIVA进行了战略投资,后者的音乐灵感来自于“莫扎特、贝多芬、巴赫”等音乐名家同时也是公版音乐,合作对象包括NVIDIA、TED、卢森堡文化部等等。字节跳动旗下的音乐创作工具海绵乐队也引入了AI技术,类似于音乐制作的“剪映”,可以为创作者完成简单高效的各类创作和优化。除此之外,AI语音生成也成为音乐公司重要的发力方向,这不仅是为了提高音乐创作效率,也是为了打造虚拟偶像,迎接元宇宙。韩国偶像娱乐巨头HYBE就在2022年收购AI语音公司Supertone,被推测可用于偶像们的数字分身,为粉丝提供更多定制化的内容。同年,Spotify收购了人工智能语音平台Sonantic。今年,其语音生成技术结合OpenAI以及平台的人类编辑,推出了AI DJ,为用户提供个性化的歌曲服务,能根据用户的反馈即时调整推荐内容,目前只面向美国和加拿大的付费用户。在国内,科大讯飞基于自己的AI技术推出“讯飞语音”厂牌,涉及唱歌合成、唱歌变声和唱歌评测等技术。腾讯AI Lab推出数字人“艾灵”,可以根据用户提供的关键字自动生成歌词并演唱。酷狗语音阿波罗声音实验室则研发了声音合成黑科技“凌音引擎”,能够高度还原和复刻歌手的声音特点,不仅可以To B,让歌手不再破音,也为粉丝提供个性化的偶像陪伴,更可以To C,成为普通人在声音上的“美图秀秀”。除了生成式人工智能(Generative AI)之外,AI另外一个大的使用方向是数据分析。流媒体时代,A&R的部分工作被数据取代,音乐公司都想从喷泉一般涌出的数据中先人一步找到下一个Billie Eilish或是BTS。华纳音乐就在2018年收购了AI驱动的A&R平台Sodatone,后者通过机器学习挖掘每天上传到Spotify等平台上的歌曲,并分析社交媒体和巡演数据,来寻找潜力新人。2020年,通过Sodatone锁定并签约的艺人和词曲作者比2019年多了整整一倍,足见华纳音乐对Sodatone的青眼有加。华纳音乐投资的另一家AI驱动的A&R平台Instrumental还有腾讯的入股,并且三大唱片和Live Nation都是其合作伙伴。SoundCloud也收购了Musiio,用于检测平台上歌曲的情况和A&R,期望早一步与明日之星建立关系并留住他们。除了找艺人,音乐公司们还在用AI找听众。此处指的不是流媒体推荐算法,或是流媒体平台通过AI对音乐进行标签或者审查,这些已经相当普及。即便是Apple 收购AI Music,让音乐推荐可以根据心跳等数据推测场景变化进而更加精确,又或者是Spotify新推出的AI DJ功能,让用户的反馈即时改变推荐内容,也只能算是锦上添花而已。更值得关注的是,唱片公司近两年开始通过AI改变艺人吸粉和固粉的方式。环球旗下厂牌Ingrooves Music Group近两年已经在AI营销方面获得了三项专利,致力于通过AI来将营销活动自动化、识别高价值受众、预测高价值社交媒体受众行为。总而言之,从歌曲创作、A&R、文案、营销、曲库管理等音乐行业的方方面面,AI都可能淘汰一部分就业岗位,又或者说,AI都能成为有力的助手,帮助人们从繁复的工作中获得一丝解脱。结语通过回顾音乐公司们在AI上的布局,可以看出,AI的作用已经渗透到音乐行业的方方面面。至于在最具有革命性的AI音乐创作方面,由于版权问题尚未得到妥善的解决,AI音乐创作更像是尚未允许打开的潘多拉魔盒,虽然让人迫不及待地想要打开,但打开后的结果却可以是致命的。唱片公司们绝不会轻易允许它成为第二个Napster,再次革了音乐行业的命。然而,一边说着反对、一边又大力投入其中的音乐公司们早已明白,面对大势的改变时,拒绝绝对不是正确的姿态,顺势而行,想办法为我所用才是赢家的法则。在AI创作所代表的巨大利益面前,接受它似乎也只不过是时间和方式的问题。所以,别再问AI音乐来了没有,因为它已经来了。 – END- 往期回顾 头条 | 从ChatGPT看AI生成内容的著作权问题聚焦 | 浅谈AI绘画的著作权归属头条 |...
AI音乐,腾讯音乐、网易云音乐的新版图?
语音大模型

AI音乐,腾讯音乐、网易云音乐的新版图?

“版权大战”之后,人们的版权意识已经逐渐觉醒,以网易云音乐、腾讯音乐为代表的在线音乐头部平台,更是纷纷推出各类激励计划来抢夺独立音乐人,期望通过对独立音乐人的扶持,进一步丰富平台版权资源库。值得一提的是,扶持音乐人需要耗费极大的人力、物力、财力,音乐创作更要经过作曲、填词、编曲等一系列繁复的流程。因此,平台想要给听众们呈现一首新歌无疑需要耗费极大的精力。与人工创作不同,AI却能通过自身强大的数字处理能力兼顾歌曲从制作到演唱的全流程,实现化繁为简,在短时间内完成音乐作品创作。换言之,只要用户提供灵感或者给出特定要求,AI就能围绕关键词从自身的海量积累中寻找符合要求的词、曲、乐器等内容来进行音乐创作。另外,AI从最初的识别、推荐音乐到当下的创作音乐,也足以证明音乐人工智能已经迈入重要发展期,而不再是简单的“AI+音乐”了。值得注意的是,AI音乐不仅仅让在线音乐市场受益,涉及音乐产业的各行各业也将享受AI音乐带来的利好。因此,多个领域的玩家也都齐聚AI音乐赛道蓄势待发。配图来自Canva可画巨头们瞄准AI音乐在AI音乐赛道上,不仅有Boomy、MURU、AIVA等一众初创AI音乐公司,还有网易、快手、苹果等一众行业巨头入局,这些不同类型的玩家在AI音乐赛道上,自然各有各的差异打法。第一类是以腾讯音乐、网易云音乐为代表的在线音乐平台,它们通过对AI技术的探索推动AI音乐创作的发展。腾讯是走“虚拟歌手”路线,其AI Lab实验室推出AI数字人“艾灵”进行音乐演唱;而网易云音乐则是投资和自研两条腿走路,一边战略投资AI音乐公司“AIVA”,一边寻求网易雷火和伏羲实验室的技术支持,推出AI音乐品牌“网易天音”。第二类是以快手、抖音为代表的短视频平台,它们借助AI音乐玩法来赋能平台。快手通过自主研究,推出了AI音乐创作模型和AI歌手,并邀请平台内的音乐人使用AI模型进行歌曲创作;抖音则通过收购英国音乐AI初创公司Jukedeck,以并购的方式进军AI音乐。总之,快手和抖音希望通过AI音乐来增强自身竞争力。第三类是以科大讯飞、苹果为代表的智能科技公司,它们依托自身优势来融合AI音乐。科大讯飞基于自身的AI技术推出了“讯飞音乐”厂牌,该厂牌涉及唱歌合成、唱歌变声和唱歌评测等技术,还打造了主打AI+概念的词曲交易创作平台“词曲家”。苹果则是收购初创公司AI Music,推出场景化定制音乐的玩法。由此看来,科大讯飞和苹果看重的是自身服务力的提升。这些分属不同赛道的玩家们齐聚AI音乐赛道,既表明这是一条好赛道,也说明AI音乐正在辐射音乐产业上下游的玩家们,为它们带来诸多利好。音乐流媒体“曲线救国”在线音乐平台虽然具有版权优势,但各家在音乐版权上的占有量并不对等。对用户来说,音乐版权仍是用户选择听歌软件的重要因素。然而,对平台来说,高昂的内容成本支出也让它们苦不堪言。在此背景下,各家的“抢人”大战越发激烈,但正如前文所说音乐创作并非一蹴而就,音乐人在短时间内也难以输出优质内容,更谈不上丰富平台的版权库了。平台们的“抢人”战略类似于“筑基”,只能靠时间来验证,而在这一“版权空窗期”,AI音乐则可以顺势补足版权缺口。拿网易来看,在版权劣势下,网易试水AI音乐既能吸引用户,又能暂缓版权压力。首先,通过AI技术降低了音乐创作难度,给普罗大众提供了一个展示自己的渠道。音乐同自拍一样,都是生活的调剂品,但音乐创作并非如自拍那般简单,大众很难体验创作歌曲的乐趣,但网易却凭借AI技术优势降低了音乐创作的门槛,让更多人参与其中。1月25日,网易推出了全球首个一站式音乐创作平台网易天音,并在微信上线了“网易天音”拜年小程序。据悉,用户只需要输入祝福对象、祝福语,10秒就能搞定词曲编唱,定制一首拜年歌,还可以选择小冰框架内的何畅、陈水若等AI歌手进行演唱。新鲜的AI音乐场景定制玩法势必会为网易带来巨大流量,并拓宽网易的音乐版图。其次,通过AI创作音乐的形式,还能够暂缓版权压力。据媒体报道,网易的第一首AI原创歌曲《醒来》从创作到演唱,仅需一个小时,如此高产的AI音乐本就取自大众的喜好,不仅紧贴用户心理,还自有版权优势,能为用户带来更好的音乐体验。目前,网易已经成功打造了《醒来》、《春启正阳》、《启航》等多首颇受欢迎的AI原创歌曲。此外,天音还将在今年上半年正式上线Web端专业版,用以辅助音乐人的创作,提高音乐生产效率,进一步为在线音乐市场带来更多可能。短视频平台降本增效对短视频平台来说,内容是灵魂,音乐却是必不可少的节奏调味品。因此,AI音乐为短视频带来的利好不言而喻。其一,AI音乐能够改变短视频平台受音乐版权掣肘的局面。目前抖音和快手都在积极争夺音乐资源,但在版权方面仍有疏漏,尤其是在短视频加速商业化的情况下,背景音乐使用不当极易造成音乐侵权。比如“Bigger研究所”曾在一支广告视频中将国外一首原创歌曲作为背景音乐,从而构成了音乐侵权。而AI音乐则可以帮助短视频平台实现“造音”目标,摆脱长期以来的侵权困扰。其二,AI音乐还能够助力短视频平台降本增效。短视频本就是“音乐+内容”的玩法,这就催生了短视频平台对音乐版权的购买需求,而AI音乐的智能合成则能减少短视频平台对音乐版权的购买,并且还可以拓展音乐产业上下游,增强平台话语权,从而助力短视频平台实现降本增效。其三,AI音乐可以增强短视频在内容上的趣味性,进一步抢占用户在短视频平台的浏览时长。快手副总裁王仲远在《未来媒体访谈》中表示:“AI音乐更像一个有趣的互动形式,帮助用户更加趣味的互动、欣赏,以及使用自己的音色演唱出属于自己的歌曲。”在AI音乐的推动下,短视频平台会带给用户更加优质的体验,进一步提高用户黏性。闭环生态智能科技公司布局AI音乐的目的,并不同于流媒体和短视频平台,前两者是受音乐版权的影响,后者却并非如此。拿苹果来说,苹果2月8日收购初创公司AI Music更多的是出于对公司各条产品业务线的考量。一方面,苹果入局AI音乐可以进一步补充Apple Music的服务功能。众所周知,服务是苹果最赚钱的业务之一,而Apple Music正是其服务业务的重要一环,而苹果收购初创公司AI Music正可以提高用户的音乐体验,进一步完善自身的服务功能。另一方面,苹果在服务功能上的完善,可以进一步带动手机、平板、智能硬件等产品的销售。据媒体报道称,AI Music的“无限音乐引擎”技术可以通过AI来改编音乐以适配用户心跳。比如,游戏中的歌曲可以根据用户的情绪进行调整,锻炼时的音乐可以根据用户的锻炼强度进行调整。这意味着,用户在不同场景下使用苹果设备会得到更加符合自身状况的音乐体验,而服务功能的完善势必会带动苹果其他业务的增长。总之,在进军AI音乐的路上,流媒体、短视频平台和智能科技公司已经先发制人。未来在音乐元宇宙的推动下,AI音乐势必会迎来更大的发展机遇,届时音乐产业链上下游的玩家们也将迎来更多的利好。文/韭菜财经,公众号ID:jiucaifin