NOUS RESEARCH’S PSYCHE NETWORK TAPS IDLE GPUS FOR AI TRAINING

Psyche ist ein auf Solana basierendes verteiltes Trainingssystem, das es jedem mit kompatibler Hardware ermöglicht, seine GPUs für das Training von KI-Modellen zur Verfügung zu stellen. Die erste Initiative des Projekts, “Consilience”, wird ein Modell mit 40 Milliarden Parametern unter Verwendung von 20 Billionen Tokens erstellen.

Einführung

Die Entwicklung fortschrittlicher KI-Modelle ist zunehmend zentralisiert geworden, was massive Rechenressourcen erfordert, die sich nur große Unternehmen leisten können. Diese Konzentration von Macht bedroht die Innovation und schränkt ein, wer zur Fortschritt von KI beitragen kann. Psyche verändert, wie wir KI entwickeln, indem es eine dezentrale Infrastruktur schafft, die es jedem ermöglicht, an der Ausbildung großer Sprachmodelle teilzunehmen.

Die Herausforderungen der zentralisierten KI-Entwicklung

Die Notwendigkeit großer Infrastruktur mit Tausenden von Beschleunigern an einem einzigen Standort schränkt die Möglichkeiten für viele Forscher und Entwickler ein. Gleichzeitig gibt es weltweit enorme Mengen an Rechenleistung, die ungenutzt bleiben. Psyche nutzt diese ungenutzte Hardware, um LLMs (Large Language Models) ohne hohe Investitionskosten zu trainieren.

Die Architektur von Psyche

Psyche implementiert ein System, das auf DisTrO aufbaut, um die Effizienz des dezentralen Trainings zu verbessern. Die Koordination erfolgt über die Solana-Blockchain, die ein fehlerresistentes und zensurresistentes Netzwerk gewährleistet. Die Architektur umfasst drei Hauptakteure:

• Koordinator:
• Clients: Ein Client ist ein GPU-Knoten, der für einen Teil des Trainings verantwortlich ist und auch als Zeuge fungieren kann.
• Datenanbieter: Der Datenanbieter stellt die notwendigen Daten für das Training bereit.

Der Trainingsablauf

Ein Trainingslauf in Psyche besteht aus mehreren “Epochen”, wobei jede Epoche eine Reihe von Trainingsschritten umfasst. Zu Beginn einer Epoche haben neue Clients die Möglichkeit, ein Modell herunterzuladen. Die Clients führen dann das Training durch, indem sie Daten abrufen, ihre Berechnungen durchführen und die Ergebnisse mit anderen Clients teilen.

Fehlerresistenz und Robustheit

Psyche erwartet, dass während eines Laufs Knoten möglicherweise nicht “gracefully” am Ende einer Epoche aussteigen. Wenn ein Client keine Daten von einem anderen Client erhält, sendet er eine Gesundheitsprüfung an den Koordinator. Wenn der Koordinator genügend negative Gesundheitsprüfungen von Clients sieht, entfernt er den abgestürzten Knoten.

Die erste Initiative: Consilience

Die erste Ausführung von Psyche wird ein Modell mit 40 Milliarden Parametern vortrainieren, das auf der Multi-head Latent Attention (MLA) Architektur basiert. Dies stellt den größten Vortraining-Lauf dar, der bisher über das Internet durchgeführt wurde. Ziel ist es, ein wahres “Basis”-Modell zu schaffen, das die gesamte kreative Produktion der Menschheit repräsentiert.

Verifikationsansätze und nächste Schritte

Wir haben ein theoretisches Modell für die Verifikation entwickelt, aber eine praktische Implementierung bleibt eine offene Frage. Unsere aktuellen Verifikationsbemühungen konzentrieren sich darauf, die Arbeit zu duplizieren und zu überprüfen, ob die Ergebnisse der DisTrO innerhalb eines erwarteten Bereichs liegen.

Die Zukunft der KI-Entwicklung

Psyche stellt mehr als nur eine technische Innovation dar – es ist ein grundlegender Wandel in der Art und Weise, wie KI-Entwicklung stattfinden kann. Durch die Verteilung des Trainings und die Nutzung der effizienten Kommunikation von DisTrO macht Psyche es möglich, Modelle zu einem Bruchteil der Kosten zentralisierter Ansätze zu trainieren.

Quellenliste:

• Quelle: NOUS RESEARCH’S PSYCHE NETWORK TAPS IDLE GPUS FOR AI TRAINING
• Psyche Network
• Psyche GitHub Repository