分享好友 最新动态首页 最新动态分类 切换频道
AI音乐战火升级!三路国产大军全面对决Suno
2024-12-26 23:28
允中 发自 凹非寺
量子位 | 公众号 QbitAI

在与Suno对垒这条道路上,国内在AI音乐领域积累已久的公司,已经纷纷在自己的优势之上推出了相应的模型及应用,正与全球顶级产品展开了一场你追我赶的精彩对决。

AI音乐战火升级!三路国产大军全面对决Suno

有趣的音乐创作玩法,不断惊艳用户的模型效果,以及现象级的产品传播方式,音乐大模型是今年垂直大模型赛道上一个十分稀缺的亮点。

3月,当Suno V3面世之后,许多人惊呼音乐行业要“一夜变天”。最近,Suno发布了V4版本,允许用户生成音质更高、更好听、时长更长(4分钟)的音乐,也就意味着,一首完整的歌曲可以被AI创造出来,AI音乐创作进入了一个全新的阶段。这在海内外引起了广泛的关注与讨论。

事实上,即便是已经到了V4版本,Suno更擅长的还是英文曲目,中文曲目和中国区用户并不是其迭代产品需求的重心。而在与Suno对垒这条道路上,国内在AI音乐领域积累已久的公司,已经纷纷在自己的优势之上推出了相应的模型及应用,正与全球顶级产品展开了一场你追我赶的精彩对决。

在Suno V3发布之后,国内大模型玩家纷纷上线了类似的产品,以防错过音乐行业的“ChatGPT时刻”。

不过,随着时间的流逝,以近一年的时间线观察来看,到目前,还坚持在AI音乐大模型赛道投入的玩家主要有三类:

  • 字节跳动豆包旗下海绵音乐为代表的大厂派

  • 昆仑万维旗下的天工SkyMusic为代表的新兴大模型厂商

  • 趣丸科技旗下天谱乐为代表的垂直赛道独角兽科技公司

作为字节跳动推出的一款免费AI音乐创作和分享平台,海绵音乐主打利用人工智能技术帮助用户生成个性化的音乐作品。

海绵音乐,用户只需输入一句灵感或上传一张图片,即可生成专属的音乐作品。平台提供多种音乐风格和创作工具,帮助用户轻松创作出高质量的音乐。

相比Suno,海绵音乐在AI生成的中文歌曲,提高了吐字的清晰度和演唱的流畅性,音乐曲风也更符合中国人的喜好。

音乐大模型天工“SkyMusic”是昆仑万维推出的国内首个音乐SOTA模型,基于昆仑万维的“天工3.0”超级大模型打造,能够快速生成多种风格的音乐作品。

“天工SkyMusic”采用的是音乐音频领域类Sora模型架构,Large-scale Transformer负责谱曲,来学习Music Patches的上下文依赖关系,同时完成音乐可控性,Diffusion Transformer负责演唱,通过LDM让Music Patches被还原成高质量音频,使得“天工SkyMusic”能够支持生成80秒44100Hz采样率双声道立体声歌曲。

天谱乐是趣丸科技今年7月发布的全球首个多模态配乐大模型,上线时间比天工晚,但也比海绵音乐略早一个月,产品从一上线就全面接入了其旗下应用唱鸭APP,向所有用户开放。

趣丸科技一直深耕音乐、音频领域,旗下的拳头产品还有TT语音,如今累计注册用户已超2亿,是国内最大的兴趣社交平台之一。

天谱乐大模型集成了图片理解算法、旋律生成算法、视频理解算法、配器识别算法等领先技术,多模态理解与生成能力比肩国际先进水平。

值得关注的是,天谱乐大模型不仅支持文生音乐、音频生音乐,还首创了图片、视频生成音乐功能,比Suno早推出3个月,某种程度上,意味着它的多模态输入能力超越Suno。这也是目前几款国产AI音乐中,有明显特色功能的一款产品。

基于自研的画面情绪理解模型等领先技术,天谱乐大模型不仅可以根据视频画面的明暗、色彩、情绪的细微变化逐帧识别和理解,也可以理解音乐的和弦、旋律、歌词、演唱风格等复杂特征,最终生成高契合度的视频配乐。

简单来说,用户仅需上传相册中的一张图片或一段不超过60秒的视频,即可生成与高度适配画面的带人声唱词的完整歌曲,生成效果达到唱片发行级水准。

天谱乐生成人声歌曲:

事实上,国内音乐双巨头腾讯音乐网易云音乐,也分别推出了X·Studio启明星这样的产品,以追赶当前生成式人工智能的浪潮。

但或许是巨头本身凭借强大的版权库,已经能够收获足够的市场份额和商业回报,所以外界感受到的是,这两家公司在AI音乐上的投入和活跃度始终不及上述代表性的玩家。

而在与全球科技巨头角逐AI大模型这一场比赛,行业内的一个共识是,AI应用是国内公司少有的优势之一,也是少有能够赶超国外大模型公司的机会。这也就意味着,探索和创造出更多用户真正会使用的产品,以及可落地商业化场景,才是国产大模型能够持续进化的基石和未来。

这也符合趣丸科技副总裁贾朔对音乐大模型的理解。他表示,“降低门槛让普通用户体验音乐创作的乐趣”是自研天谱乐产品的价值主张。

音乐原创的专业度很高,但是,在AI的辅助之下,用户可以只需要输入一句话、一张照片或一段视频,在1-2分钟内生成一首词曲结构相对完整的歌曲。

系统根据视频生成匹配歌曲

事实证明,这样的策略的确收获了不少市场的正反馈。目前已有4600万人注册使用唱鸭APP或天谱乐官网,累计创作近1000万首AI歌曲。

技术平权的意义在于,让更多人能够享受到科技进步带来的便利和好处,缩小不同群体之间的技术差距。

除了服务音乐爱好者等C端用户,应用在影视制作等专业从业者的工作流,则为AI音乐大模型落地提供更多可商业化的场景。

当前市面上的音乐大模型,一方面,可以服务于专业音乐人,通过缩减词曲创作、编曲等工作提升了音乐创作效率,让快速创作和试验新的音乐构思成为可能。另一方面,在短视频浪潮之下,音乐大模型正在辅助短视频创作者,让他们更容易创造出符合视频内容的背景音乐,提升内容质量和观众体验。

据了解,天谱乐还将在近期发布新功能——MidiRender,功能类比于一个精准、可控音乐版的Control Net,专业的创作用户可以输入自己的音乐构想,让天谱乐AI根据这个原创音乐片段填充歌词、完成编曲。

创作者输入原创音乐片段:

天谱乐填充歌词完成编曲:

这些提供定制化的音乐解决方案,带来更多的应用场景和商业机会,能够持续促进音乐产业的创新和发展。

尽管音乐大模型在2024年以前所未有的速度在狂飙,但它身后依旧给这个行业的操盘手留下了一些难解的尴尬。

首当其冲是音乐版权的问题。高质量的音乐生成模型依赖高质量的音乐音频数据。

今年6月,环球音乐集团、索尼音乐集团和华纳音乐集团等多家唱片公司就对Suno和Udio发起诉讼,称它们非法使用版权音乐来训练自己的AI模型并对外提供服务。随后,Suno进行了回击,指责它们利用版权诉讼来保护自己在人工智能音乐领域的市场主导地位。

目前双方的争夺尚未有一个定论,但唯一可以肯定的是,AI音乐公司在技术上取得了显著进展,如何在法律框架内运营和商业化,将是这些公司未来必须思考的问题。

此外,音乐大模型生成的音乐作品是否享有版权保护,其版权归属如何界定,尚无明确的法律规定,这给音乐大模型的应用带来了不确定性和风险。

针对版权的问题,贾朔发现,其实可以从技术手段上规避一些纷争。比如,在产品侧,当用户在使用AI创作时,可判断其是否有主观意图模仿现有艺术家,并且做出弹窗提示。

事实上,人类在进行艺术创作的时候,灵感都未必是凭空产生,多数也是吸取和借鉴过往历史上、产业里优秀的案例,不断打磨迭代,在巨人肩膀上创新和创造。训练AI大模型是如此,人类学习成长与进步也类似。

另一方面,则是音乐的创意与情感。

音乐创作具有很强的专业性,但也属于人类的情感和情绪的一种表达。虽然音乐大模型可以生成具有特定风格和情感的音乐作品,但其创意和独特性仍然有限。

如何提升音乐大模型的创意能力,使其能够创作出更具个性和创新性的音乐作品,是当前音乐大模型需要突破的方向之一。

在这一方向上,行业里有一个思路是,让AI生产的音乐声音更像“人”,以此更契合人类的情感表达诉求,使生成的歌曲引发更多人的共情与共鸣。

比如说,消除AI歌曲的电音问题。这是AI音乐过往被用户吐槽最多的事情,也是很多音乐大模型在人声技术上攻克的重点之一。趣丸科技表示,最近这一问题已经率先解决,得益于最新的天谱乐大模型2.2版本,在长序列音乐语意建模和高质量音频空间建模上,实现进一步突破,高度还原音乐音频在高维空间的连续信号表征,实现音乐性和音质的飞跃。播客“Vibration 歪波音室”主理人拾壹也在公开场合提到,几乎无法区分天谱乐的人声唱词和真人歌曲。

但也需要看到,尽管AI能够模拟人类的创作模式,它始终很难真正理解和表达人类复杂的情感。音乐中的情感往往是创作者内心深处的真实感受,AI生成的音乐可能在情感表达上显得较为肤浅。而一些缺乏人类灵气和感情的作品,在这个流量大爆炸和注意力被狂轰滥炸的时代,我们没有理由再去承受更多。

作为人类,我们还需要面对的是,AI音乐创作的发展会对部分人类音乐创作者的就业和创作空间造成一定的挤压。但无论如何,在当前的阶段,我们需要寻找一种平衡,实现AI与人类创作者的真正的共存。

*本文系量子位获授权刊载,观点仅为作者所有。


—  —

量子位 QbitAI

վ'ᴗ' ի 追踪AI技术和产品新动态

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见 ~ 

最新文章
谷歌SEO,如何给竞争关键词排名?
在数字营销领域,谷歌SEO无疑是获取流量和曝光度的关键。我深知,在这个日新月异的行业中,如何让自己的网站在谷歌搜索中脱颖而出,对于每一个SEO从业者来说都至关重要。今天,我将结合我的实战经验,分享一些关于如何给竞争关键词排名的实
微信清理大师
《微信清理大师》是一款简单实用的微信优化和清理的手机工具,这款软件操作方便,而且对于用户的隐私信息也有保护作用全方位扫描,为用户清理微信后台垃圾,释放手机空间,加速手机微信的运行的速度,让自己的微信更加的极速!感兴趣的小伙
排行榜:五款免费大头贴制作软件推荐
下面给大家推荐几款好用的免费的大头贴制作软件,有需要的小伙伴们来了解一下。美图拍拍是一款功能强大的摄像头自拍软件,兼容所有主流摄像头。它不仅能够轻松实现大头贴的拍摄,还支持视频录制和搞笑QQ表情制作等丰富功能。该软件拥有众多
镇江屋顶漏水维修电话〈免费上门〉镇江屋顶防水补漏师傅
不砸砖、不砸墙;免砸砖防水补漏技术,2小时快速解决漏水问题,超长保修期。漏水维修服务项目:房顶漏水、窗台防水补漏、楼顶漏水、泳池渗水、楼顶裂缝漏水、厨房间漏水、天棚漏水、别墅房顶漏水、地板下暗管漏水、飘窗防水、飘窗渗水、楼顶防
社会保险认证人脸识别平台:便捷、高效与安全并重的社保认证新方式
一、引言随着科技的飞速发展,社会保险认证方式也在不断创新。社会保险认证人脸识别平台作为一种新兴的社保认证方式,凭借其便捷性、高效性和安全性,逐渐受到广大参保人员的青睐。本文将详细介绍社会保险认证人脸识别平台的功能、优势、使
泸县第二人民医院医共体党委书记康健接受纪律审查和监察调查
  泸县第二人民医院医共体党委书记康健涉嫌严重违纪违法,目前正接受泸县纪委监委纪律审查和监察调查。  康健简历  康健,男,汉族,1975年7月生,四川泸县人,在职大学学历。1994年8月参加工作,2009年7月加入中国共产党。  1994
阿里巴巴和淘宝有什么区别
阿里巴巴和淘宝有什么区别1、成交客户不同一个是零售平台,一个是批发平台,最大的不同就在于这个客户类型;零售客户是一单单的发货,成交周期短,百分百平台上成交,他可能这辈子只跟你做这一次买卖;批发客户是大批量的采购,成交周期长
百度输入法定制版
百度输入法定制版是一款针对打字设计的输入法软件。这款软件由百度官方出品,为大家带来了超多的输入方式,无论是手写、五笔、拼音、语音还是各个国家的语言都可以满足大家的需求,更有海量的表情包、金句可以随心选,让大家的聊天更加的富
青春绽放 创新无限
近日,由全国高校思想政治工作网、南开大学和中国移动联合主办,咪咕互动娱乐有限公司、南开大学软件学院、中国电子学会智能人机交互专委会承办的动感地带AI+高校创智计划海选赛在智慧与创意的碰撞中落幕,经过三个月的激烈比拼,50支高校
相关文章
推荐文章
发表评论
0评