Marktplatz: Mein erster Versuch, ohne Backpropagation effizient auf GPUs zu trainieren

In der heutigen Zeit ist es kaum vorstellbar, dass vor einem Jahrzehnt die Idee von Supercomputern in unseren eigenen vier Wänden noch als Science-Fiction galt. Dank moderner Hardware ist es nun möglich, End-to-End-Experimente in einem Solo-Projekt durchzuführen. Wir treten in eine neue Ära des persönlichen Supercomputings ein. In diesem Artikel möchte ich einen Ansatz vorstellen, der es ermöglicht, ohne Backpropagation effizient auf GPUs zu trainieren – ein Experiment, das früher eine immense Menge an Geld und Ressourcen erforderte, nur um die Idee zu testen.

Hintergrund

Die Existenz einer Lösung und ihre weitverbreitete Nutzung bedeuten nicht zwangsläufig, dass sie die beste ist. Aus dieser Perspektive sollten wir alle bestehenden Lösungen in Frage stellen. In meinen letzten Projekten im Bereich maschinelles Lernen habe ich festgestellt, dass Backpropagation eine enorme Menge an Speicher benötigt. Die Abhängigkeiten, die durch die Rückpropagation entstehen, erschweren zudem eine effektive Skalierung. Mein Ziel ist es, ein Modell ohne Backpropagation zu trainieren, idealerweise in einem verteilten System.

Der Marktplatz-Algorithmus

Der Marktplatz-Algorithmus ist inspiriert von der Dynamik eines freien Marktes. Jede Schicht des neuronalen Netzwerks wird als ein Anbieter betrachtet, der Eingaben verarbeitet und Ausgaben produziert. Die Idee ist, dass viele Anbieter in einer Schicht um die Produktion des besten Produkts für die nachfolgenden Schichten konkurrieren. Doch was bedeutet das „beste“ Produkt? Bevor der Endnutzer es bewertet, weiß niemand, ob diese Zwischenprodukte gut oder schlecht sind. Der einzige Weg, dies herauszufinden, ist, die nachgelagerten Anbieter ihre Produkte konsumieren zu lassen und schließlich vom Endkunden Feedback zu erhalten.

Implementierung mit Tinygrad

Ich habe den Marktplatz-Algorithmus mit Tinygrad implementiert, einer leichtgewichtigen Bibliothek für maschinelles Lernen. Tinygrad verwendet eine verzögerte Auswertung, was bedeutet, dass der Berechnungsgraph als vollständiger End-to-End-Graph konstruiert wird, wenn die Funktionen aufgerufen werden. Dies ermöglicht es, den gesamten Berechnungsgraphen in nativen Kernelcode für Hardwarebeschleuniger zu kompilieren. Die Implementierung des Marktplatz-Algorithmus in Tinygrad war überraschend einfach und ich habe den Code open-source zur Verfügung gestellt.

Herausforderungen und Erkenntnisse

Während ich mit dem Marktplatz-Algorithmus experimentierte, stellte ich fest, dass die Lernrate eine entscheidende Rolle für den Erfolg des Trainings spielt. Ich testete verschiedene Lernraten, um herauszufinden, welche die beste Trainingsleistung erzielt. Zudem bemerkte ich, dass die Batch-Normalisierung in diesem Kontext nicht gut funktionierte, was ich durch den Austausch gegen eine Instanznormalisierung behoben habe.

Zukunftsperspektiven

Der Marktplatz-Ansatz hat das Potenzial, in der Skalierbarkeit zu übertreffen, was bei der Backpropagation eine Herausforderung darstellt. Ich sehe auch spannende Anwendungen, wie die Kombination des Marktplatz-Ansatzes mit Blockchain-Technologie für das dezentrale Training von großen Sprachmodellen. Die Möglichkeiten sind endlos, und ich bin optimistisch, was die Zukunft des persönlichen Supercomputings angeht.

Quellenliste:

• Quelle: MARKETPLACE: MY FIRST ATTEMPT AT TRAINING WITHOUT BACKPROP ON GPU EFFICIENTLY
• Convolutional Neural Networks
• Tinygrad GitHub Repository