BAMBA-9B-V2: Ein leistungsstarkes KI-Modell von IBM und Partnern

Im April 2025 haben IBM, Princeton, CMU und UIUC das KI-Modell BAMBA-9B-V2 veröffentlicht, das auf dem Mamba2-Modell basiert. Dieses neue Modell hat sich als überlegen gegenüber Llama 3.1 8B erwiesen, nachdem es auf 3 Billionen Tokens trainiert wurde.

Einführung in BAMBA-9B-V2

Die Entwicklung von BAMBA-9B-V2 ist das Ergebnis intensiver Forschungs- und Entwicklungsarbeit, die auf den Erfolgen von BAMBA v1 aufbaut, das im Dezember 2024 veröffentlicht wurde. BAMBA v1 war bereits ein leistungsfähiges Modell, das auf 2 Billionen Tokens trainiert wurde. Mit der neuen Version wurde das Modell um weitere 1 Billion Tokens erweitert, was zu signifikanten Verbesserungen in der Leistung führt.

Leistungssteigerungen und Benchmark-Ergebnisse

Die Benchmark-Ergebnisse zeigen, dass BAMBA-9B-V2 in den L1- und L2-Leaderboards die Ergebnisse von Llama 3.1 8B übertrifft, obwohl letzteres mit fast fünfmal mehr Daten trainiert wurde. Die Architektur von Mamba2 ermöglicht eine Geschwindigkeit, die 2-2,5 Mal schneller ist als vergleichbare Transformer-Modelle.

Benchmark-Ergebnisse im Detail

Die folgenden Ergebnisse wurden in verschiedenen Benchmarks erzielt:

• BAMBA 9B v2: MMLU: 62.63, ARC-C: 67.92, GSM8K: 63.57
• Nemotron-H 8B: MMLU: 68.38, ARC-C: 72.95, GSM8K: 65.7
• Meta Llama 3.1 8B: MMLU: 60.79, ARC-C: 66.26, GSM8K: 57.85
• IBM Granite v3 8B: MMLU: 64.25, ARC-C: 64.13, GSM8K: 63.74

Trainingsansatz und Datenmix

Der Trainingsansatz für BAMBA-9B-V2 war innovativ, da er auf einem begrenzten GPU-Budget von 192 A100s basierte. Statt das Modell auf 10 Billionen Tokens zu trainieren, wurde ein neuer Datenmix verwendet, um das bestehende Modell zu verbessern. Der Trainingsprozess umfasste mehrere Phasen, in denen verschiedene Datensätze kombiniert wurden, um die Leistung zu optimieren.

Details zum Datenmix

Der Datenmix für die Trainingsphasen umfasste:

• DCLM: 90.5%
• ArXiV: 1.14%
• Starcoder: 4.5%
• Algebraic stack: 0.49%
• Open web math: 0.51%
• Wiki: 0.5%

Integration von vLLM

Ein weiterer wichtiger Aspekt der Entwicklung von BAMBA-9B-V2 war die Integration mit der vLLM-Community. Diese Zusammenarbeit zielt darauf ab, die Unterstützung für Mamba2-Modelle zu verbessern und die Leistung bei der Verarbeitung von Anfragen zu optimieren. Zu den geplanten Verbesserungen gehören:

• Verbesserte KV-Cache-Verwaltung
• Chunked Prefill für bessere Leistung
• Schnellere Dekodierkerne

Aufruf zur Zusammenarbeit

Die Entwickler von BAMBA-9B-V2 rufen die Community auf, aktiv an der Verbesserung des Modells mitzuarbeiten. Dies umfasst das Testen der Skalierbarkeit und die Verbesserung der Inferenzleistung. Die Entwickler sind bestrebt, offene Datensätze bereitzustellen, um die Reproduzierbarkeit der Ergebnisse zu gewährleisten.

Fazit

BAMBA-9B-V2 stellt einen bedeutenden Fortschritt in der KI-Modellentwicklung dar und zeigt, wie durch Zusammenarbeit zwischen führenden Institutionen wie IBM, Princeton, CMU und UIUC innovative Lösungen geschaffen werden können. Mit seiner überlegenen Leistung und der Unterstützung durch die Community hat dieses Modell das Potenzial, die Art und Weise, wie KI-Anwendungen entwickelt und eingesetzt werden, erheblich zu verändern.

Quellenliste:

• Quelle: BAMBA-9B-V2 – FAST AND POWERFUL!
• Hugging Face Bamba collection
• GitHub repo with inference, training, and tuning scripts
• vLLM RFC