取消
加载中...

通义实验室发布两款语音生成模型

AIPress 2026-03-02 10:46

AIPress.com.cn报道

3月2日消息,阿里通义实验室语音团队发布两款语音生成模型 Fun-CosyVoice3.5 与 Fun-AudioGen-VD,核心变化是支持用自然语言指令直接控制语音生成效果,不再依赖传统的预设情绪标签或固定风格模板。

此次发布的两款模型虽然都支持自然语言指令,但应用侧重点有所不同:Fun-CosyVoice3.5 聚焦于多语种复刻与精细化表达控制,而 Fun-AudioGen-VD 则专注于声音设计与场景化音频生成。

Fun-CosyVoice3.5:一句话定义语气与情绪

Fun-CosyVoice3.5 在 Instruct-TTS(指令式语音合成)方向实现了重大升级。它打破了传统 TTS 仅能在有限选项中选择的局限,支持用户通过自然语言描述(如“语气坚定一点”、“稍微压低音调”)来精细控制生成效果。

除了表达控制,该模型在多语种支持上也进行了扩展,新增泰语、印尼语、葡萄牙语和越南语,并在 13 种语言的客观指标(WER 和 SpkSim)上保持领先。针对生僻字和长文本的稳定性问题,模型将生僻字读错率从 15.2% 降至 5.3%。此外,通过引入强化学习技术(DiffRO + GRPO),模型的韵律表现和音质得到了双重提升,首包延迟也降低了 35%。

Fun-AudioGen-VD:从零创造角色与听觉场景

如果说 Fun-CosyVoice3.5 解决的是“怎么说”,那么 Fun-AudioGen-VD 解决的则是“谁在说”和“在哪说”。

这款模型支持根据自然语言描述,从零生成目标音色、情绪表达以及完整的听觉场景。

角色化生成: 用户可以定义性别、年龄、口音等基础属性,甚至可以描述复杂的心理状态(如“表面镇定但内心颤抖”)或特定角色(如“邪恶反派”)。

环境模拟: 模型不仅能生成人声,还能叠加环境音(如咖啡馆喧嚣)、空间混响(如教堂回声)以及设备滤镜(如老式广播),实现“人物+场景”的一体化生成。

语音生成工具化:从功能到创作

FreeStyle 指令控制的引入,使得语音生成技术从单纯的“功能工具”升级为“创作工具”。在影视、游戏、有声书等领域,创作者可以通过自然语言快速构建所需的音色与场景,大幅降低了传统录制与后期调试的成本。

这并非简单的功能叠加,而是语音生成交互范式的转变:当声音可以被精准描述和理解,数字内容创作的边界将被进一步拓宽。

扫码下载app 最新资讯实时掌握

分享

相关资讯