近日,约翰霍普金斯大学与腾讯 AI 实验室联合推出了一款名为 EzAudio 的新型文本到音频生成模型。这项技术承诺以空前的效率和高品质文本转换为声音,标志着人工智能和音频技术的重大飞跃。

EzAudio 的工作原理是利用音频波形的潜在空间,而不是传统的声谱图,这一创新让它能够在高时间分辨率下工作,且无需额外的神经声码器。

EzAudio 的架构被称为 EzAudio-DiT(扩散变换器),采用了多项技术创新来提高性能和效率。其中包括一种新的自适应层归一化技术 AdaLN-SOLA、长跳连接,以及先进的位置编码技术如 RoPE(旋转位置嵌入)。

研究人员表示,EzAudio 生成的音频样本非常逼真,客观和主观评估均优于现有的开源模型。

目前,AI 音频生成市场正快速增长。像 ElevenLabs 这样的知名公司最近推出了一款 iOS 应用,用于文本转语音的转换,显示出消费者对 AI 音频工具的浓厚兴趣。同时,微软和谷歌等科技巨头也在不断加大对 AI 语音模拟技术的投资。

根据 Gartner 的预测,到2027年,40% 的生成式 AI 解决方案将会是多模态的,结合文本、图像和音频的能力,这意味着 EzAudio 这样的高质量音频生成模型可能会在不断演变的 AI 领域中发挥重要作用。

EzAudio 团队已经公开了他们的代码、数据集和模型检查点,强调了透明性,并鼓励该领域的进一步研究。

研究人员认为 EzAudio 的应用可能超越声音效果生成,涉及语音和音乐制作等领域。随着技术的不断进步,它有望在娱乐、媒体、辅助服务和虚拟助手等行业中得到广泛应用。

demo:https://huggingface.co/spaces/OpenSound/EzAudio

项目入口:https://github.com/haidog-yaqub/EzAudio?tab=readme-ov-file

划重点:

🌟 EzAudio 是由约翰霍普金斯大学与腾讯合作推出的新型文本转音频生成模型,标志着音频技术的一次重大进步。

🎧 该模型通过创新的架构和技术,生成的音频样本在质量上优于现有开源模型,具备广泛的应用潜力。

⚖️ 随着技术的发展,伦理和责任使用的问题逐渐突显,EzAudio 的公开研究代码也为未来的风险与收益提供了广泛的检验机会。