STABILITY AI TEXT-TO-AUDIO MODEL: Stable Audio Open Small

Stability AI hat mit Stable Audio Open Small ein neues, open-source Text-zu-Audio-Modell veröffentlicht, das für die Ausführung auf Arm-CPUs optimiert ist. Mit 341 Millionen Parametern ermöglicht dieses Modell die schnelle Generierung von kurzen Audiosamples und stellt einen bedeutenden Fortschritt in der generativen Audioerstellung dar.

Einführung in Stable Audio Open Small

Am 14. Mai 2023 gab Stability AI bekannt, dass sie in Zusammenarbeit mit Arm das Modell Stable Audio Open Small veröffentlicht haben. Dieses Modell ist darauf ausgelegt, Audiosamples von bis zu 11 Sekunden Länge auf einem Smartphone in weniger als 8 Sekunden zu erzeugen. Die Veröffentlichung folgt auf die Ankündigung, dass das ursprüngliche Modell Stable Audio Open nun für die Ausführung auf Arm-CPUs optimiert wurde, was die generative Audioerstellung auf mobilen Geräten ermöglicht.

Technische Fortschritte und Merkmale

Stable Audio Open Small ist das schnellste Stereo-Text-zu-Audio-Modell auf dem Markt. Hier sind einige der herausragenden Merkmale:

• Leichtgewichtig: Mit 341 Millionen Parametern ist es deutlich kleiner als das ursprüngliche Modell, das 1,1 Milliarden Parameter umfasst.
• Schnell: Das Modell ist optimiert, um Audios auf einem Mobiltelefon in weniger als 8 Sekunden zu generieren.
• Effizient: Durch die Nutzung der KleidiAI-Bibliotheken von Arm wurde das Modell so konzipiert, dass es noch effizienter am Edge arbeitet, was schnellere Ergebnisse bei geringeren Kosten ermöglicht.

Anwendungsbereiche von Stable Audio Open Small

Das Modell ist ideal für die Generierung von kurzen Audiosamples, Soundeffekten und Produktionselementen, die durch Text-Prompts angestoßen werden. Es eignet sich hervorragend für die Erstellung von:

• Drum-Loops
• Foley-Effekten
• Instrumenten-Riffs
• Ambient-Texturen

Die kompakte Größe und die schnelle Inferenz machen es zu einer perfekten Lösung für die Bereitstellung auf Arm-basierten Smartphones und Edge-Geräten, wo Echtzeitgenerierung und Reaktionsfähigkeit entscheidend sind.

Wie man mit Stable Audio Open Small beginnt

Stable Audio Open Small steht nun unter der permissiven Stability AI Community License sowohl für kommerzielle als auch nicht-kommerzielle Nutzung zur Verfügung. Entwickler können die Modellgewichte auf Hugging Face herunterladen, den Code auf GitHub einsehen und die Forschungsarbeit auf arXiv lesen.

Für eine detaillierte Anleitung zur Bereitstellung von Stable Audio Open Small auf Arm-Hardware besuchen Sie den Arm Learning Path.

Fazit

Mit der Veröffentlichung von Stable Audio Open Small setzt Stability AI einen weiteren Schritt in der Entwicklung von generativen Audio-Technologien. Die Optimierung für Arm-CPUs eröffnet neue Möglichkeiten für Entwickler und Kreative, Audioinhalte effizient und schnell zu generieren.

Quellenliste:

• Quelle: STABILITY AI AND ARM COLLABORATE TO RELEASE STABLE AUDIO OPEN SMALL
• Stability AI und Arm bringen generative Audioerstellung auf Smartphones
• Forschungsarbeit zu Stable Audio Open Small
• Stable Audio Open Small auf Hugging Face
• Stable Audio Tools auf GitHub