Riffusion 的 AI 使用视觉超声图从文本中生成音乐

一个 AI-生成的音符从计算机屏幕爆炸的图像。”/>放大 / AI 生成的音符从计算机屏幕爆炸的图像。 Ars-Technica公司 </figure><p>周四，两位技术爱好者发布了 Riffusion，这是一种 AI 模型，它通过创建声音的视觉表示并将其转换为音频进行播放，从而根据文本提示生成音乐。它使用改进版的 Stable Diffusion 1.5 图像合成模型，以一种新颖的方式将视觉潜在扩散应用于声音处理。</p> <p>Riffusion 由 Seth Forsgren 和 Hayk Martiros 作为业余爱好项目创建，通过生成声波图来工作，声波图将音频存储在二维图像中。在声波图中，X 轴代表时间（播放频率的顺序，从左到右），Y 轴代表声音的频率。同时，图像中每个像素的颜色代表了特定时刻声音的振幅。</p> <p>由于超声图是一种图像，Stable Diffusion 可以对其进行处理。 Forsgren 和 Martiros 训练了一个定制的稳定扩散模型，其中样本声波图与它们所代表的声音或音乐流派的描述相关联。有了这些知识，Riffusion 可以根据描述您想要听到的音乐或声音类型的文本提示即时生成新音乐，例如“爵士乐”、“摇滚”，甚至是在键盘上打字。</p> <p>生成声波图图像后，Riffusion 使用 Torchaudio 将声波图转换为声音，并以音频形式播放。</p> <figure class=声波图表示二维图像中的时间、频率和振幅。 放大/声波图表示二维图像中的时间、频率和振幅。 扩散

“这是 v1.5 稳定散射模型，没有任何修改，只是对与文本配对的频谱图图像进行了微调，”Riffusion 的制造商在其解释页面上写道。 “它可以通过改变种子来生成提示的无限变化。默认情况下，所有相同的 Web UI 和技术（如 img2img、修复、否定提示和插值）都有效。”

Riffusion 网站的访问者可以通过交互式 Web 应用程序体验 AI 模型，该应用程序实时生成内插超声图（平滑地拼接在一起以实现不间断播放），同时在页面左侧连续查看频谱图。< /p>

Riffusion 网站的屏幕截图，您可以在其中输入提示并听到声波图。 放大/Riffusion 网站的屏幕截图，您可以在其中键入提示并听到产生的声波图。

  技术   Dec 18, 2022   0   16  Add to Reading List
Riffusion 的 AI 使用视觉超声图从文本中生成音乐
一个 AI-生成的音符从计算机屏幕爆炸的图像。”/>放大 / AI 生成的音符从计算机屏幕爆炸的图像。 Ars-Technica公司 </figure><p>周四，两位技术爱好者发布了 Riffusion，这是一种 AI 模型，它通过创建声音的视觉表示并将其转换为音频进行播放，从而根据文本提示生成音乐。它使用改进版的 Stable Diffusion 1.5 图像合成模型，以一种新颖的方式将视觉潜在扩散应用于声音处理。</p> <p>Riffusion 由 Seth Forsgren 和 Hayk Martiros 作为业余爱好项目创建，通过生成声波图来工作，声波图将音频存储在二维图像中。在声波图中，X 轴代表时间（播放频率的顺序，从左到右），Y 轴代表声音的频率。同时，图像中每个像素的颜色代表了特定时刻声音的振幅。</p> <p>由于超声图是一种图像，Stable Diffusion 可以对其进行处理。 Forsgren 和 Martiros 训练了一个定制的稳定扩散模型，其中样本声波图与它们所代表的声音或音乐流派的描述相关联。有了这些知识，Riffusion 可以根据描述您想要听到的音乐或声音类型的文本提示即时生成新音乐，例如“爵士乐”、“摇滚”，甚至是在键盘上打字。</p> <p>生成声波图图像后，Riffusion 使用 Torchaudio 将声波图转换为声音，并以音频形式播放。</p> <figure class=声波图表示二维图像中的时间、频率和振幅。 放大/声波图表示二维图像中的时间、频率和振幅。 扩散

“这是 v1.5 稳定散射模型，没有任何修改，只是对与文本配对的频谱图图像进行了微调，”Riffusion 的制造商在其解释页面上写道。 “它可以通过改变种子来生成提示的无限变化。默认情况下，所有相同的 Web UI 和技术（如 img2img、修复、否定提示和插值）都有效。”

Riffusion 网站的访问者可以通过交互式 Web 应用程序体验 AI 模型，该应用程序实时生成内插超声图（平滑地拼接在一起以实现不间断播放），同时在页面左侧连续查看频谱图。< /p>

Riffusion 网站的屏幕截图，您可以在其中输入提示并听到声波图。 放大/Riffusion 网站的屏幕截图，您可以在其中键入提示并听到产生的声波图。

What's Your Reaction?

like

dislike

love

funny

angry

sad

wow