Qwen3 Embedding: Fortschritte in der Text-Einbettung und Neurangierung durch Foundation-Modelle

Alibaba hat die Qwen3 Embedding-Serie als Open Source veröffentlicht, wobei das 8B-Modell den ersten Platz auf der MTEB multilingual leaderboard erreicht hat. Diese Modelle sind speziell für Aufgaben der Texteingabe, -abruf und -neurangierung konzipiert und basieren auf dem Qwen3 Foundation-Modell.

Einführung in die Qwen3 Embedding-Serie

Die Qwen3 Embedding-Serie stellt ein neues proprietäres Modell der Qwen-Modellfamilie dar. Diese Modelle nutzen die robusten mehrsprachigen Textverständnisfähigkeiten von Qwen3 und erzielen herausragende Leistungen in verschiedenen Benchmarks für Text-Einbettung und Neurangierung. Die gesamte Serie wurde unter der Apache 2.0-Lizenz auf Hugging Face und ModelScope veröffentlicht, und der technische Bericht sowie der zugehörige Code sind auf GitHub verfügbar.

Bewertungsergebnisse für Neurangierungsmodelle

Die Ergebnisse zeigen, dass die Neurangierungsmodelle in Textabruf-Szenarien hervorragend abschneiden und die Relevanz der Suchergebnisse erheblich verbessern.

Schlüsselmerkmale der Qwen3 Embedding-Serie

• Außergewöhnliche Vielseitigkeit: Das Einbettungsmodell hat in einer Vielzahl von Anwendungen die besten Leistungen erzielt. Das 8B-Modell belegt den ersten Platz auf der MTEB multilingual leaderboard (Stand: 5. Juni 2025, Punktzahl 70.58).
• Umfassende Flexibilität: Die Qwen3 Embedding-Serie bietet eine Vielzahl von Größen (von 0.6B bis 8B) für Einbettungs- und Neurangierungsmodelle, die verschiedenen Anwendungsfällen gerecht werden.
• Mehrsprachige Fähigkeiten: Die Modelle unterstützen über 100 Sprachen, einschließlich verschiedener Programmiersprachen, und bieten robuste mehrsprachige, cross-linguale und Code-Abruf-Fähigkeiten.

Modellübersicht

Modellarchitektur

Basierend auf dem Qwen3 Foundation-Modell sind unsere Einbettungs- und Neurangierungsmodelle mit Dual-Encoder- und Cross-Encoder-Architekturen konzipiert. Durch LoRA-Fine-Tuning zielen wir darauf ab, die Textverständnisfähigkeiten des Basis-Modells vollständig zu bewahren und zu verbessern.

Modelltraining

Das Trainingsframework für die Qwen3 Embedding-Serie folgt dem mehrstufigen Trainingsparadigma, das von der GTE-Qwen-Serie etabliert wurde. Während des Trainings des Einbettungsmodells haben wir eine dreistufige Trainingsstruktur implementiert, die eine kontrastive Vorab-Training mit einer großen Menge schwach überwachter Daten umfasst.

Zukünftige Arbeiten

Die Modelle der Qwen3 Embedding-Serie stellen einen neuen Ausgangspunkt dar. Durch fortlaufende Optimierungen des Qwen Foundation-Modells werden wir die Trainingseffizienz von Texteingabemodellen und Neurangierungsmodellen verbessern und die Bereitstellungsleistung in verschiedenen Szenarien steigern.

Quellenliste:

• Quelle: Qwen3 Embedding: Advancing Text Embedding and Reranking through Foundation Models
• Qwen3 Embedding GitHub Repository
• Qwen auf Hugging Face
• Qwen auf ModelScope
• Qwen Discord