Was GPT-OSS über OpenAIs Trainingsdaten verrät

OpenAI hat kürzlich ihr Modell mit offenen Gewichten, GPT-OSS, veröffentlicht. Diese Offenlegung wirft Fragen auf, welche Informationen über die Trainingsdaten des Modells preisgegeben werden. In diesem Artikel werden wir untersuchen, welche Daten OpenAI für das Training ihrer Modelle verwendet hat und welche Implikationen dies für die KI-Entwicklung hat.

Einführung in die offenen Gewichte von GPT-OSS

Die Veröffentlichung von GPT-OSS ist ein bedeutender Schritt in der Welt der KI, da die Gewichte des Modells öffentlich zugänglich sind. Dies ermöglicht es Forschern und Entwicklern, die Funktionsweise des Modells besser zu verstehen und es für eigene Projekte zu nutzen. Allerdings bringt diese Offenheit auch Herausforderungen mit sich, da sie potenziell Informationen über die Trainingsdaten preisgibt, die OpenAI als Geschäftsgeheimnis betrachtet.

Analyse der Trainingsdaten

Die genaue Herkunft der Trainingsdaten von OpenAI ist nicht klar dokumentiert. Laut der Modellbeschreibung wurde GPT-OSS auf einem „textbasierten Datensatz mit Billionen von Tokens“ trainiert, wobei der Fokus auf STEM, Programmierung und allgemeinem Wissen lag. Doch die Analyse der Modellparameter zeigt, dass auch Phrasen von Erwachsenen-Webseiten in den Trainingsdaten enthalten sein könnten.

Tokenisierung und Glitch Tokens

Ein zentraler Aspekt der Analyse ist die Tokenisierung. Alle Modelle von OpenAI seit GPT-4o verwenden den o200k Tokenizer. Dies ermöglicht es, die Tokenliste zu studieren, ohne den Textinhalt jedes Tokens betrachten zu müssen. Bei der Untersuchung der L2-Norm der Embeddings wurden etwa 936 Tokens mit sehr niedriger Norm identifiziert, was darauf hindeutet, dass sie während des Trainingsprozesses nicht aufgetreten sind.

Einige Tokens mit hoher Norm, die in der Analyse gefunden wurden, sind entweder sehr häufig oder erscheinen speziell in Aufgaben, die mit Reasoning und Programmierung zu tun haben. Dies könnte darauf hindeuten, dass das Training auf Reinforcement Learning in den letzten Phasen des Trainingsprozesses eine Rolle gespielt hat.

Implikationen für die KI-Entwicklung

Die Entdeckung, dass GPT-5 und GPT-OSS möglicherweise auf Phrasen von Erwachsenen-Webseiten trainiert wurden, wirft ethische Fragen auf. Es ist überraschend, dass solche Inhalte in den Trainingsdaten enthalten sind, und dies könnte Auswirkungen auf die Wahrnehmung von KI-Modellen in der Gesellschaft haben.

Zusätzlich zeigt die Analyse, dass die offenen Gewichte neue Angriffsvektoren auf Produktionsmodelle eröffnen. Es wird empfohlen, dass KI-Labore unübliche Strings aus ihren Tokenizer-Wortschätzen ausschließen, um solche Probleme zu vermeiden.

Fazit

Die Offenlegung der Gewichte von GPT-OSS bietet wertvolle Einblicke in die Trainingsdaten von OpenAI. Die Analyse der Tokenisierung und der Glitch Tokens zeigt, dass das Modell auf eine Vielzahl von Inhalten trainiert wurde, einschließlich solcher, die möglicherweise nicht für alle Benutzer geeignet sind. Diese Erkenntnisse sind entscheidend für die zukünftige Entwicklung von KI-Modellen und deren ethische Implikationen.

Quellenliste:

• Quelle: WHAT GPT-OSS LEAKS ABOUT OPENAI’S TRAINING DATA
• GPT-OSS Repository
• ChatGPT Completion Example
• Dictionary Reference
• GBK Encoding
• Great Wall of China
• MIT Technology Review on GPT-4o