StochasTok: Verbesserung des feingranularen Subwortverständnisses in LLMs

StochasTok ist ein innovativer Ansatz zur Verbesserung des feingranularen Subwortverständnisses in großen Sprachmodellen (LLMs). Durch die zufällige Zerlegung von Tokens während des Trainings ermöglicht es Modellen, die interne Struktur von Wörtern zu lernen, was zu nahezu perfekter Genauigkeit bei der Zeichenanzahl und bei mehrstelligen mathematischen Aufgaben führt.

Einführung

Subwortverständnis ist für zahlreiche Aufgaben von zentraler Bedeutung, darunter das Verstehen von mehrstelligen Zahlen, Rechtschreibfehlern, Abkürzungen, Reimen und Wortspielen. Trotz dieser Wichtigkeit haben aktuelle LLMs oft Schwierigkeiten mit scheinbar einfachen subwortbezogenen Aufgaben, wie zum Beispiel: „Wie viele ‘r’s sind in ‘strawberry’?“. Ein entscheidender Faktor für diese Mängel ist die Tokenisierung, die die feingranulare Struktur von Wörtern verschleiert.

Herausforderungen der aktuellen Tokenisierung

Die gängigen Alternativen zur Tokenisierung, wie die Zeichenebene und Dropout-Tokenisierung, erhöhen signifikant die Rechenkosten und bieten inkonsistente Verbesserungen. Diese Methoden sind oft nicht effizient genug, um die komplexen Anforderungen der Sprachverarbeitung zu erfüllen.

Die Lösung: StochasTok

In dieser Arbeit wird StochasTok vorgestellt, ein einfaches und effizientes stochastisches Tokenisierungsschema, das Tokens während des Trainings zufällig aufteilt. Dies ermöglicht es LLMs, die interne Struktur der Wörter zu „sehen“. Unsere Experimente zeigen, dass das Pretraining mit StochasTok die Leistung von LLMs in verschiedenen subwortbezogenen Sprachspielen erheblich verbessert, darunter Zeichenanzahl, Teilstring-Identifikation und mathematische Aufgaben.

Integration und Vorteile von StochasTok

Ein weiterer Vorteil von StochasTok ist seine einfache Integration in jede Phase der Trainingspipeline. Wir zeigen, dass das Nachtraining mit StochasTok auch bestehenden vortrainierten Modellen ein verbessertes Subwortverständnis verleihen kann, wodurch kostspieliges Pretraining von Grund auf vermieden wird. Diese dramatischen Verbesserungen, die mit minimalen Änderungen erreicht werden, deuten darauf hin, dass StochasTok ein vielversprechendes Potenzial hat, wenn es auf größere, leistungsfähigere Modelle angewendet wird.

Fazit

StochasTok stellt einen bedeutenden Fortschritt im Bereich der Tokenisierung dar und bietet eine vielversprechende Lösung für die Herausforderungen, die mit dem feingranularen Subwortverständnis in LLMs verbunden sind. Die Ergebnisse unserer Studien zeigen, dass durch die Implementierung dieser Methode die Leistung von Sprachmodellen erheblich gesteigert werden kann, was weitreichende Implikationen für die Zukunft der Sprachverarbeitung hat.

Quellenliste:

• Quelle: StochasTok: Improving Fine-Grained Subword Understanding in LLMs
• StochasTok GitHub Repository