MiniMax veröffentlicht Open-Weight Reasoning Model M1

MiniMax hat sein neuestes Modell, MiniMax-M1, vorgestellt, das als das erste Open-Weight, groß angelegte Hybrid-Attention-Reasoning-Modell gilt. Mit 456 Milliarden Parametern nutzt das Modell eine hybride Mixture-of-Experts-Architektur, die in der Lage ist, Kontexte von bis zu 1 Million Tokens zu verarbeiten, während es 25 % weniger FLOPs benötigt.

1. Modellübersicht

Das MiniMax-M1 Modell ist eine Weiterentwicklung des vorherigen MiniMax-Text-01 Modells. Es kombiniert eine Mixture-of-Experts-Architektur mit einem blitzschnellen Aufmerksamkeitsmechanismus. Diese Kombination ermöglicht es dem Modell, komplexe Aufgaben zu bewältigen, die lange Eingaben und umfangreiche Überlegungen erfordern. Die nativ unterstützte Kontextlänge von 1 Million Tokens ist achtmal so groß wie die von DeepSeek R1.

2. Effizienz und Leistung

Die blitzschnelle Aufmerksamkeitsmechanik in MiniMax-M1 ermöglicht eine effiziente Skalierung der Rechenleistung zur Generierungszeit. Im Vergleich zu DeepSeek R1 verbraucht das M1-Modell 25 % der FLOPs bei einer Generierungslänge von 100K Tokens. Dies macht es besonders geeignet für komplexe Aufgaben, die eine umfangreiche Verarbeitung erfordern.

3. Training und Algorithmen

Das Modell wurde mithilfe von groß angelegtem Reinforcement Learning (RL) auf einer Vielzahl von Problemen trainiert, die von traditionellem mathematischem Denken bis hin zu realen Software-Engineering-Umgebungen reichen. Ein neuartiger Algorithmus namens CISPO wurde entwickelt, um die Effizienz des RL zu verbessern, indem die Gewichtungen der Wichtigkeit anstelle von Token-Updates geklippst werden.

4. Benchmark-Performance

Die Leistung von MiniMax-M1 wurde auf verschiedenen Kernbenchmarks getestet. Die Ergebnisse zeigen, dass die Modelle andere starke Open-Weight-Modelle wie DeepSeek-R1 und Qwen3-235B übertreffen, insbesondere bei komplexen Software-Engineering- und Langkontextaufgaben.

5. Empfehlungen zur Nutzung des MiniMax-M1 Modells

Um die besten Ergebnisse mit dem MiniMax-M1 Modell zu erzielen, sollten Benutzer auf zwei Schlüsselpunkte achten: die Inferenzparameter und den Systemprompt. Die empfohlenen Einstellungen sind:

• Temperatur: 1.0
• Top_p: 0.95

Diese Einstellungen fördern Kreativität und Vielfalt in den Antworten des Modells und ermöglichen eine breitere Palette linguistischer Möglichkeiten.

6. Bereitstellung und Funktionalitäten

Das Modell kann von der HuggingFace-Repository heruntergeladen werden:

• MiniMax-M1-40k: Hier herunterladen
• MiniMax-M1-80k: Hier herunterladen

Für die Produktionsbereitstellung wird empfohlen, vLLM zu verwenden, das hervorragende Leistung für die Bereitstellung großer Sprachmodelle bietet.

7. Fazit

Mit seiner innovativen Architektur und den beeindruckenden Leistungsdaten stellt MiniMax-M1 einen bedeutenden Fortschritt in der Entwicklung von Sprachmodellen dar. Es bietet eine solide Grundlage für die nächste Generation von Sprachmodell-Agenten, die in der Lage sind, reale Herausforderungen zu bewältigen.

Quellenliste:

• Quelle: MiniMax Releases Open-Weight Reasoning Model M1
• MiniMax-M1-40k
• MiniMax-M1-80k
• MiniMax-M1: Scaling Test-Time Compute Efficiently with Lightning Attention