Optimierung des Checkpointings mit PyTorch DCP

PyTorch-Entwickler haben die Größe von Checkpoints um 22 % reduziert, indem sie einen modularen Kompressionsansatz verwendet haben. In diesem Artikel werden wir die Optimierung des Checkpointings mit PyTorch Distributed Checkpointing (DCP) im Detail betrachten.

Einleitung

Das Checkpointing ist ein wesentlicher Bestandteil des Trainings von Modellen in verteilten Umgebungen. Mit der zunehmenden Komplexität und Größe von Modellen wird die Verwaltung von Checkpoints immer herausfordernder. PyTorch DCP bietet eine modulare Lösung, die es Entwicklern ermöglicht, die Komponenten an ihre spezifischen Anforderungen anzupassen. In diesem Artikel zeigen wir, wie wir die Modularität von PyTorch DCP genutzt haben, um eine Kompression zu integrieren und die Größe der Checkpoints um 22 % zu reduzieren.

Motivation

Die Speicherung großer Checkpoints kann erhebliche Anforderungen an den Speicher und die Bandbreite stellen. Diese Herausforderungen machen es notwendig, effektive Kompressionslösungen zu finden. Da Checkpoints hauptsächlich aus binären Daten (Tensoren) bestehen, haben wir uns entschieden, einen optimalen Kompressionsgrad mit minimalem Kompressionsaufwand zu erreichen. Der zstd Kompressionsalgorithmus wurde aufgrund seiner Effizienz und Effektivität ausgewählt.

Implementierungsdetails

Die modulare Architektur von DCP, die klar definierte und leicht erweiterbare Komponenten umfasst, machte es zu einer idealen Wahl für unsere Checkpointing-Lösung. Wir haben die StorageWriter-Komponente von PyTorch DCP angepasst, die für das Schreiben von Checkpoint-Daten verantwortlich ist. Durch die Modifikation der _FileSystemWriter-Klasse haben wir eine zusätzliche Parametererweiterung integriert, die es uns ermöglicht, eine Kompression durchzuführen.

Implementierung der Zstandard-Kompression

Wir haben eine konkrete Unterklasse von StreamTransformExtension namens ZStandard implementiert, die die Komprimierungsfunktionalität mit dem zstd Algorithmus bereitstellt. Diese Klasse ermöglicht es uns, die ausgehenden Datenströme zu komprimieren und die eingehenden Datenströme zu dekomprimieren.

Kombination der Anpassungen

Schließlich haben wir unsere angepasste _FileSystemWriter-Klasse mit der ZStandard-Kompressionserweiterung kombiniert, um die Checkpoints zu speichern. Ein Beispieltest demonstriert, wie alles zusammenkommt und die Effizienz des neuen Systems zeigt.

Evaluierungsergebnisse

In Zusammenarbeit mit IBM haben wir unsere vorgeschlagene Lösung auf einem internen Trainingscluster evaluiert. Die Ergebnisse zeigten eine signifikante Reduzierung der Checkpoint-Größen um 22 %, jedoch auf Kosten einer erhöhten Kompressionszeit. Durch den Einsatz von Multithreading konnten wir jedoch den Anstieg der Checkpointing-Zeit auf nur 9 % begrenzen. Dies zeigt das Potenzial unserer Lösung, ein Gleichgewicht zwischen der Reduzierung der Checkpoint-Größe und der Leistung zu finden.

Fazit

Die modulare Architektur von PyTorch DCP ermöglicht es Entwicklern, die Komponenten an spezifische Anwendungsfälle anzupassen und neue Ebenen der Anpassbarkeit und Erweiterbarkeit zu erschließen. Durch die Anpassung der StorageWriter-Komponente und die Implementierung einer Kompressionserweiterung haben wir signifikante Reduzierungen der Checkpoint-Größe erreicht, was zu geringeren Speicheranforderungen und reduzierten Bandbreitenkosten führt. Wir laden Sie ein, die umfangreichen Möglichkeiten der Anpassung von PyTorch DCP zu erkunden und mit verschiedenen Erweiterungen und Modifikationen zu experimentieren.

Quellenliste:

• Quelle: Reducing Storage Footprint and Bandwidth Usage for Distributed Checkpoints with PyTorch DCP
• Zstandard Compression Algorithm
• Granite-3B-Code-Instruct-128K
• Granite-3.2-8B-Instruct
• Alpaca Dataset
• IBM Vela AI Supercomputer