语音大模型
这篇文章主要介绍了人工智能音乐生成的三项核心环节:曲谱生成、演奏生成和声音合成。其中,词曲写作方面,作者们探讨了歌词生成旋律以及旋律生成歌词的两个任务,并分析了其特点,同时通过引入encoder-decoder attention机制,学习了歌词和旋律的对齐关系。此外,还介绍了一种基于音乐知识辅助的深度学习方法来实现歌词到旋律的生成。最后,作者们在三个数据集上评估了他们的研究成果,生成的伴奏已经接近真实伴奏。然而,他们也意识到AI音乐生成仍存在一些挑战,如理解音乐结构、建模音乐情感和风格、实现交互式音乐创作等。