Wie viel merken sich Sprachmodelle wirklich?

In der Welt der Künstlichen Intelligenz und insbesondere der Sprachmodelle ist das Verständnis von Memorierung und Generalisierung von entscheidender Bedeutung. Forscher haben eine Methode entwickelt, um wahre Memorierung von Generalisierung zu trennen, indem sie Modelle auf zufälligen Daten trainieren, bei denen Generalisierung unmöglich ist, im Gegensatz zu echtem Text.

Einführung in das Thema

Die Frage, wie viel Sprachmodelle tatsächlich „wissen“ oder „merken“, ist ein zentrales Thema in der Forschung. In einer aktuellen Studie von John X. Morris und seinen Kollegen wird ein neuer Ansatz vorgestellt, um die Kapazität moderner Sprachmodelle zu messen. Diese Studie beleuchtet die Unterschiede zwischen unbeabsichtigter Memorierung und der Fähigkeit zur Generalisierung.

Memorierung vs. Generalisierung

Traditionell haben Studien zur Memorierung von Sprachmodellen Schwierigkeiten gehabt, diese beiden Konzepte klar zu unterscheiden. Die Forscher schlagen vor, Memorierung in zwei Komponenten zu unterteilen:

• Unbeabsichtigte Memorierung: Informationen, die ein Modell über einen spezifischen Datensatz enthält.
• Generalisierung: Informationen, die ein Modell über den tatsächlichen Daten-Generierungsprozess enthält.

Durch die vollständige Eliminierung der Generalisierung können die Forscher die gesamte Memorierung berechnen, was eine Schätzung der Modellkapazität ermöglicht. Die Ergebnisse zeigen, dass GPT-ähnliche Modelle eine Kapazität von etwa 3,6 Bits pro Parameter haben.

Die Methodik der Studie

Die Forscher trainierten Sprachmodelle auf Datensätzen unterschiedlicher Größe und beobachteten, dass die Modelle bis zu ihrer Kapazitätsgrenze memorieren. An diesem Punkt beginnt das, was als „Grokking“ bezeichnet wird, wobei die unbeabsichtigte Memorierung abnimmt und die Modelle beginnen, zu generalisieren.

Insgesamt wurden Hunderte von Transformer-Sprachmodellen mit einer Parameteranzahl von 500.000 bis 1,5 Milliarden trainiert. Dies führte zu einer Reihe von Skalierungsgesetzen, die die Beziehung zwischen Modellkapazität und Datengröße zur Mitgliedschaftsinferenz beschreiben.

Fazit und Ausblick

Die Erkenntnisse dieser Studie sind nicht nur für die Forschung von Bedeutung, sondern auch für die Entwicklung zukünftiger Sprachmodelle. Ein besseres Verständnis von Memorierung und Generalisierung könnte dazu beitragen, leistungsfähigere und effizientere Modelle zu entwickeln, die in der Lage sind, Informationen besser zu verarbeiten und zu nutzen.

Quellenliste:

• Quelle: How much do language models memorize?
• DOI: 10.48550/arXiv.2505.24832