音频大模型 FunAudioLLM 上线基石智算 青云科技 旗下 AI 算力云服务

   日期:2024-12-27    作者:o2x3a 移动:http://ljhr2012.riyuangf.com/mobile/quote/69770.html

来源:雪球App,作者: 青云科技,(https://xueqiu.com/8690072890/316474072)

音频大模型 FunAudioLLM 上线基石智算 青云科技 旗下 AI 算力云服务

旗下 AI 算力云服务——基石智算 CoresHub 将 AI 算力云与模型开发部署服务完美融合,致力于为开发者打造完整的 AI 应用落地生态。对于初涉开发的用户而言,平台支持多模态模型及应用的一键启动,为众多 AI 爱好者赋予强大能量。目前,平台已推出文本类、文生图、文生视频、语音转换等模型,且支持一键启动、一键部署以及在线微调,助力用户打造专属 AI 应用。

本期,将为大家详细呈现基于基石智算 CoresHub 平台的 FunAudioLLM 模型使用教程。

FunAudioLLM 模型介绍

FunAudioLLM 是通义实验室推出的一款开源语音大模型,它包含两个核心模型:SenseVoice 和 CosyVoice 。SenseVoice 专注于多语言语音识别、情感辨识和声音事件检测,支持超过 50 种语言,尤其在中文和粤语的识别上表现优异,准确率提升超过 50%。它还能够识别多种情绪和交互事件,如音乐、掌声、笑声、哭声等。CosyVoice 则擅长语音合成,能够根据少量原始音频快速生成模拟音色,包括韵律和情感细节,并支持跨语言合成。

FunAudioLLM 的应用场景非常广泛,如语音到语音翻译、情感语音对话、互动播客和有声读物等。例如,在语音到语音翻译场景中,它可以将中文语音翻译成英文语音,同时保留原说话人的音色和情感色彩。在情感语音对话中,它可以与用户进行带有情绪色彩的交互,提升用户体验。此外,它还可以用于制作互动播客和有声读物,提供丰富多彩的听觉体验。

语音翻译:将输入语音翻译成目标语言,并使用目标语言生成语音。

情感语音聊天:识别输入语音的情绪和音频事件,并生成与情绪相符的语音。

交互式播客:根据实时资讯、知识等内容生成播客脚本,并使用 CosyVoice 合成语音。

有声读物:分析文本中的情感和角色,并使用 CosyVoice 合成具有丰富情感的有声读物。

在 coreshub.cn 上的使用方式

CosyVoice 模型使用

1. 创建容器实例。

2. 选择资源与镜像 FunAudio 下的 CosyVoice 模型(推荐选择 1 卡 3090 )。

3. 创建好容器实例后,选择更多访问,点击端口 9001,进入 WebUI 界面。

4. 根据页面操作提示可以使用不同的功能生成音频。

预训练音色:使用模型本身预训练音色,按照输入文本生成音频;

【基石智算是旗下的 AI 算力云服务平台,为用户提供一站式模型开发训练一体化服务】

3s 极速复刻:上传自己的音频文件或在线录制音频,模型会根据你的音频训练出相同音色,输入 prompt 文本,就可以使用你的音色读出文字了;

跨语种复刻:将你上传的普通话音频,转变成粤语、日语、英语等;

自然语言控制:可在语音中添加自然的笑声,喘气、生气等语气。

注意:使用自然语言控制功能时,需要更换模型,重新创建实例,选择 FunAudioLLM 中的 CosyVoice-300-instruct 使用。

SenseVoice 模型使用

同样创建容器实例,选择资源,但在选择应用镜像时,选择 FunAudioLLM 中的 SenseVoice 模型。以同样方式进入 WebUI 界面,使用流程与 CosyVoice 相同。


特别提示:本信息由相关用户自行提供,真实性未证实,仅供参考。请谨慎采用,风险自负。


举报收藏 0评论 0
0相关评论
相关最新动态
推荐最新动态
点击排行
{
网站首页  |  关于我们  |  联系方式  |  使用协议  |  隐私政策  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  网站留言  |  RSS订阅  |  违规举报  |  鄂ICP备2020018471号