在音乐和声音创作领域，技术与创意的结合总是面临诸多挑战。现有的 AI 模型往往只擅长特定的任务，缺乏广泛的适应性，这使得 AI 在音乐制作中的辅助作用受限。为了让 AI 更好地服务于音乐与音频生产，亟需一款能够灵活应对各种创作需求的通用模型。为此，NVIDIA 推出了 Fugatto，这是一款拥有25亿参数的音频生成与处理模型。

Fugatto 的设计旨在通过结合文本提示与先进的音频合成能力，提供高灵活度的声音输入和创作实验空间。例如，它可以将钢琴旋律转变为人声演唱，或者让小号发出意想不到的声音。

Fugatto 不仅支持文本输入，还支持可选的音频输入，打破了传统音频生成模型的局限，使得艺术家和开发者能够实时进行创作与修改，流畅地生成新类型的声音。

在技术方面，Fugatto 采用了一种创新的数据生成方法，超越了传统的监督学习。它的训练不仅依赖于常规数据集，还结合了专门生成的数据集，从而创建了丰富多样的音频与转换任务。此外，Fugatto 借助大语言模型（LLM）来增强指令生成能力，更好地理解音频与文本提示之间的关系。

一个重要的创新是 “可组合音频表示变换”（ComposableART），这是一种在推理时使用的技术，能够灵活地结合、插值或否定不同的音频生成指令。ComposableART 使得用户在音频合成过程中拥有更高的控制力，可以精确地导航 Fugatto 的声音调色板，创造出独特的声音现象。

Fugatto 的架构基于增强型的 Transformer 模型，采用了自适应层归一化等特定修改，能够在多种输入条件下保持一致性，支持复杂的组合指令。初步测试表明，Fugatto 在常见基准测试中表现不俗，特别是在声音合成和变换方面，与其他专业模型相比，显示出更强的能力。

Fugatto 的推出标志着音频生成 AI 的一次重要进步，突破了传统的局限，为创意音频制作提供了强大且灵活的工具。其在音乐、游戏、娱乐和教育等多个领域的潜在应用，意味着 AI 技术将继续在助力人类创造力方面发挥重要作用。

官方博客:https://blogs.nvidia.com/blog/fugatto-gen-ai-sound-model/

论文:https://d1qx31qr3h6wln.cloudfront.net/publications/FUGATTO.pdf

划重点:

🎵 Fugatto 是 NVIDIA 推出的音频 AI 模型，拥有25亿参数，支持文本与音频输入，助力音乐与声音创作。

💻 采用创新的数据生成方法和可组合音频表示变换技术，使得用户能够灵活生成和修改声音。

🌟 初步测试显示，Fugatto 在音频合成与变换方面的表现优于多种专业模型，展示了其强大的创意潜力。