语音大模型

作者 | 万翛        编辑 | 范志辉2023开年，ChatGPT的现象级爆红，引发了一场全球互联网巨头关于AIGC的“军备竞赛”，谷歌、微软、百度、Meta等都纷纷下场。而能够与人进行自然对话、回答问题的ChatGPT的问世，也让大型语言模型这种抽象高端的概念变成了人人都能用上的“个人助理”，一时间风头无两。近日，ChatGPT开发公司OpenAI发布了下一代大型语言模型GPT-4，这不仅是用于支持ChatGPT和新Bing的最新AI大型语言模型，还支持了Microsoft 365的新功能Copilot，帮助用户更高效地办公。据悉，ChatGPT在许多专业测试中的表现超出了“人类水平”，消息一出，再次引起人们对AIGC的高度讨论。所谓AIGC（AI-Generated Content），就是人工智能生成的内容。简而言之，就是人工智能可以借助已有的材料库，按照用户需求生成对应的内容。目前，AIGC已经应用到音乐、绘画、音频等各个领域，让大众真切感知到了技术革命背后的创造力。在音乐领域，除了辅助音乐创作，AIGC技术也开始被用于创新用户体验。比如，在国外，Spotify最近推出DJ模式，让AI改善推荐歌曲体验；在国内，QQ音乐等音乐平台在利用AIGC技术方面做了不少的尝试。本文将以QQ音乐的AI功能应用为例，盘点音乐与AIGC结合的想象空间。AIGC狂飙，如何改变音乐体验？如今，打开QQ音乐就会发现，AIGC已经遍布QQ音乐的各处细节中，从听歌体验、视觉呈现、社交分享等多个维度，做了不少有趣的创新尝试。点开推荐歌曲开始听歌时，颇具设计美感的AIGC黑胶播放器就映入眼帘。与以往的歌曲专辑封面播放不同， QQ音乐新上线的AI播放器是国内音乐行业首个在AIGC领域运用的视觉尝试，其原理是通过在AI工具输入关键词，让AI算法组合各种元素，生成有创意的播放器风格。现在，QQ音乐已推出机械装甲、雪山白、积木游戏、工业灰等 6款供用户选择，据悉还将结合场景，有更多样式可以期待。如果播放的歌词正符合当下的心情，想要分享到朋友圈、微博等社交媒体，这时候，“AI歌词海报”功能就派上用场了。不管是古风、流行还是说唱，基于Stable diffusion 和Disco diffusion两个模型，短短几秒，都能根据歌词一键生成对应画风的海报，为用户省去寻找配图的时间。而在这背后，是腾讯音乐天琴实验室业内首创的AI音乐视觉生成技术MUSE（Music Envision）带来的支持。作为国内音乐行业内率先布局AIGC领域的平台，QQ音乐凭借对音频、歌词的深度理解和用户需求的前瞻洞察，实现了音乐行业首创的规模化音乐海报绘制技术。据悉，该技术还用于为曲库中大量无专辑归属的游离单曲生成适配的歌曲封面，大大提高了用户视觉体验，音乐人也可以基于该技术，自主制作专辑图。在基于MuseAI算法的支持下，QQ音乐也开发了颇具可玩性的“AI·次元专属BGM”功能。用户只要上人物传照片，就能生成动漫风格的对应图片，还配有专属BGM。除此之外，联动天琴实验室的AI技术，我们还可以通过AI动听贺卡功能，自行编辑祝福语和选择歌曲，获得AI生成的祝福语藏头歌词，并用所选歌曲的曲调演唱，一键生成定制祝福。不得不说，不管是逢年过节还是朋友生日，妈妈再也不担心我为想祝福语而秃头了，走心又有趣。当我们打开QQ音乐签到时，除了会收到每日根据用户偏好及听歌记录的一首推荐歌曲，滑动卡片便可查看当日运势，收到一张AIGC生成的“今日运势画”。据悉，该画作是依托于当日推荐歌曲内容，并融入今日幸运色元素生产的，好听又好看。对于音乐爱好者而言，QQ音乐基于AIGC开发的“智能曲谱”功能也非常实用，颇受欢迎。由于网上的曲谱大多不完整，且筛选成本极高，如果想要学习心水歌曲的乐器弹唱，第一步就是耗时的扒谱。而如今得益于智能曲谱功能，就连《我记得》这种新歌也能直接找到曲谱，且吉他谱、钢琴谱、尤克里里等主流曲谱一应俱全。在此基础上，QQ音乐还让静止的图片曲谱动起来，在业内首家推出“曲谱OCR”功能，基于图像识别的方法自动识别乐谱中的和弦、音高、休止符等10类音乐信息，然后结合QQ音乐高精度歌词信息，一键生成相应的智能曲谱，帮助爱好者轻松自如弹唱，再也不用中途停下来手动翻谱子了。 不同于一般人工的曲谱，QQ音乐的智能曲谱还有AB反复、原声、节拍器、常用节奏型选择和编辑等一系列功能选项。不仅如此，我们学完还能在QQ音乐弹唱小组进行分享，结识同好。这一功能一经推出就颇受好评，非常实用。总而言之，不论是QQ音乐积极结合AIGC让用户体验更加个性化，还是提高音乐爱好者的学习效率，可以看出AIGC技术在音乐领域极高的契合度，也拓展了行业对AIGC与音乐结合的想象空间。 嫁接音乐后， 如何打开AIGC的想象空间？ 此前，法国知名DJ David Duetta在演出时候通过AIGC工具，以Eminem风格写了一首关于Future Rave的歌，还用Eminem的声线录了出来，观众反响十分“疯狂”，令David Duetta直呼“音乐的未来在于AI”。而David Duetta绝不是唯一一个有此信念的人。在音乐领域，AIGC不论是作词、作曲、还是人声合成上都大有作为，仅仅是利用AIGC生产功能性音乐，就能创造巨大商机，更别说成为辅助音乐创作的主流技术，或是打造虚拟艺人等等想象空间了。可以说，AIGC应该是继流媒体之后对音乐行业最具颠覆性的技术。面对这一历史机遇，Spotify、三大唱片等音乐公司已经积极入局AIGC领域，试图抢占先机。例如华纳投资AI音乐创作平台Lifescore、环球音乐投资AI音乐创作平台Soundful、索尼音乐自主研发AI辅助音乐创作应用Flow Machines。毫无疑问，音乐公司们争相探索AIGC已经成为新趋势。在国内，QQ音乐率先洞察到了人工智能和AIGC的巨大潜力，并进行布局。在2019年，QQ音乐旗下听歌识曲团队获得了Mirex音频指纹大赛冠军，同时打破了三项世界纪录；2020年，QQ音乐独创的Predictive Model（PDM）技术也打破了“预测识别（Patterns for Prediction）”世界纪录，助力潜力好歌挖掘，成为行业标配的赋能工具；还成功将基于DNN的翻唱识别技术引入听歌识曲场景，开创了革命性的第一代听歌识曲系统，识别率提升了12%。2021年，在QQ音乐多媒体研发中心基础上，TME成立首个音视频技术研发中心——天琴实验室，专注于音视频相关AI研究，研发了听歌识曲、智能修音、音频超分、臻品母带、翻唱识别、唱歌评分以及行业首创的MUSE AI音乐视觉生成技术明星产品。其中，天琴实验室研发的“歌词生成方法”和哼唱识别还分别斩获了国家级专利奖和深圳市专利奖。截至目前，天琴实验室累计发布10余篇国际顶会论文，获得500余项发明专利，主导参与多项音乐行业标准制定，成为行业内顶尖的音视频研究实验室。最近，天琴实验室还面向海内外首次发布三套开源数据集，分别涉及片段翻唱识别、哼唱识别和歌唱评价，以夯实产业发展基础，为数字音乐产业升级注入新活力。此外，输入歌词即可随唱随跳的虚拟人“小琴”也是出自于天琴实验室之手。小琴基于天琴实验室Music XR Maker系统和MUX设计中心的支持，体现了天琴实验室在拟人舞蹈生成、歌唱表演生成、音乐灯光秀等方面的综合成果。不难看出，从底层技术创新到融入产品功能升级，QQ音乐对AIGC的布局已初见成效，持续满足丰富着用户的音娱体验，建立了行业先发优势。结语如果观察QQ音乐的功能设计更迭，会发现QQ音乐不仅是靠着过硬的技术打底，更是靠着持续提升用户体验的核心理念，擅于在细节处利用尖端技术解决B端和C端的痛点，才得以不断引领音娱体验的迭代创新。正如用户体验专家Sean Gerety所说，“能惊艳所有人的，不是你所使用的技术，而是你用技术创造的体验”。 在持续变幻的技术革命前面，唯有积极拥抱新技术、为我所用，推动行业革新，才能在新浪潮中站稳脚跟。而QQ音乐在人工智能领域的持续布局，既为用户带来更具前瞻、个性化的音娱体验，打开AIGC与音乐领域的想象空间，也将推动音乐娱乐生产生态的进化。 >>>>点击“阅读原文”解锁QQ音乐系列AI功能 先声话题 话题内容：你认为，AIGC还将从哪些维度影响音乐产业？ 欢迎在评论区留言，分享你的观点和看法，我们将会在本周发布的文章推送内，从所有留言评论中，挑选3位读者，分别赠送18.88元、8.8元和6.6元红包。获奖名单将在每周日的“先声周报”栏目中公布，请保持关注。长期招聘音娱产业记者（实习/兼职/全职），不问出处，能力说话，待遇从优，详情请后台回复“招聘”。排版 | vision音乐先声工作室介绍音乐先声，即专注音乐产业，先发未来之声。怀抱对文字和产业的敬畏之心，我们致力于在信息过载的时代，通过对国内外音乐产业案例、现象的研究分析，拆解背后的逻辑、规律和趋势，持续输出深度干货，争取领先行业半步。目前，音乐先声在虎嗅、36氪、钛媒体、界面等核心平台累计发文超1300篇，获得人人都是产品经理2020年度最具影响力作者，内容穿透力、行业影响力居音乐垂直领域第一位。往期热文腾讯音乐 网易云 华为音乐 字节音乐 Spotify洗歌 刷量 盗版 黄牛 非法乐币版权PUA播客 区块链 NFT Web3 元宇宙 虚拟偶像罗大佑 丁太升宋冬野五条人毛不易庞麦郎数字专辑 中文说唱 内娱饭圈 网红乐队 – 关注我们，收获最新产业洞察 –如果喜欢这篇文章，点击下方“在看”。