来源:雪球App,作者: 青云科技,(https://xueqiu.com/8690072890/316474072)
旗下 AI 算力云服务——基石智算 CoresHub 将 AI 算力云与模型开发部署服务完美融合,致力于为开发者打造完整的 AI 应用落地生态。对于初涉开发的用户而言,平台支持多模态模型及应用的一键启动,为众多 AI 爱好者赋予强大能量。目前,平台已推出文本类、文生图、文生视频、语音转换等模型,且支持一键启动、一键部署以及在线微调,助力用户打造专属 AI 应用。
本期,将为大家详细呈现基于基石智算 CoresHub 平台的 FunAudioLLM 模型使用教程。
FunAudioLLM 模型介绍
FunAudioLLM 是通义实验室推出的一款开源语音大模型,它包含两个核心模型:SenseVoice 和 CosyVoice 。SenseVoice 专注于多语言语音识别、情感辨识和声音事件检测,支持超过 50 种语言,尤其在中文和粤语的识别上表现优异,准确率提升超过 50%。它还能够识别多种情绪和交互事件,如音乐、掌声、笑声、哭声等。CosyVoice 则擅长语音合成,能够根据少量原始音频快速生成模拟音色,包括韵律和情感细节,并支持跨语言合成。
FunAudioLLM 的应用场景非常广泛,如语音到语音翻译、情感语音对话、互动播客和有声读物等。例如,在语音到语音翻译场景中,它可以将中文语音翻译成英文语音,同时保留原说话人的音色和情感色彩。在情感语音对话中,它可以与用户进行带有情绪色彩的交互,提升用户体验。此外,它还可以用于制作互动播客和有声读物,提供丰富多彩的听觉体验。
语音翻译:将输入语音翻译成目标语言,并使用目标语言生成语音。
情感语音聊天:识别输入语音的情绪和音频事件,并生成与情绪相符的语音。
交互式播客:根据实时资讯、知识等内容生成播客脚本,并使用 CosyVoice 合成语音。
有声读物:分析文本中的情感和角色,并使用 CosyVoice 合成具有丰富情感的有声读物。
在 coreshub.cn 上的使用方式
CosyVoice 模型使用
1. 创建容器实例。
2. 选择资源与镜像 FunAudio 下的 CosyVoice 模型(推荐选择 1 卡 3090 )。
3. 创建好容器实例后,选择更多访问,点击端口 9001,进入 WebUI 界面。
4. 根据页面操作提示可以使用不同的功能生成音频。
预训练音色:使用模型本身预训练音色,按照输入文本生成音频;
【基石智算是旗下的 AI 算力云服务平台,为用户提供一站式模型开发训练一体化服务】
3s 极速复刻:上传自己的音频文件或在线录制音频,模型会根据你的音频训练出相同音色,输入 prompt 文本,就可以使用你的音色读出文字了;
跨语种复刻:将你上传的普通话音频,转变成粤语、日语、英语等;
自然语言控制:可在语音中添加自然的笑声,喘气、生气等语气。
注意:使用自然语言控制功能时,需要更换模型,重新创建实例,选择 FunAudioLLM 中的 CosyVoice-300-instruct 使用。
SenseVoice 模型使用
同样创建容器实例,选择资源,但在选择应用镜像时,选择 FunAudioLLM 中的 SenseVoice 模型。以同样方式进入 WebUI 界面,使用流程与 CosyVoice 相同。