Mixed-Chip-Cluster ermöglichen effizientes Training von KI-Modellen in großem Maßstab

Forscher aus Shanghai haben mit DiTorch und DiComm zwei neue Technologien vorgestellt, die eine einheitliche Programmierung über verschiedene Chip-Architekturen hinweg ermöglichen, darunter NVIDIA und AMD Varianten. Diese Entwicklungen sind besonders relevant für das Training von großen Sprachmodellen (LLMs), das aufgrund der steigenden Anforderungen an Rechenressourcen zunehmend auf heterogene Hardware-Umgebungen angewiesen ist.

Die Herausforderung der heterogenen Cluster

Die Fortschritte im Bereich der großen Sprachmodelle erfordern umfangreiche Rechenressourcen, was den Einsatz vielfältiger Hardware-Beschleuniger von verschiedenen Anbietern notwendig macht. Traditionelle verteilte Trainingsframeworks stoßen jedoch an ihre Grenzen, wenn es darum geht, hyper-heterogene Cluster, die aus Tausenden von Chips bestehen, effizient zu nutzen. Dies liegt an den erheblichen Unterschieden in den Software-Stacks, den Implementierungen der Operatoren, den Kommunikationsbibliotheken und den Hardwarefähigkeiten.

Einführung von H2: Ein systematischer Ansatz

Um diese Herausforderungen zu bewältigen, haben die Forscher das H2-Framework entwickelt, das für HyperHetero steht. Dieses Framework ermöglicht ein effizientes Training von LLMs auf Clustern mit über 1.000 heterogenen Chips. H2 integriert DiTorch, eine vereinheitlichte PyTorch-kompatible Schnittstelle, die eine konsistente Programmierung über verschiedene Chips hinweg gewährleistet, sowie DiComm, eine geräteorientierte RDMA-Kommunikationsbibliothek, die für heterogene Umgebungen optimiert ist.

Adaptive Pipeline-Parallelität mit HeteroPP

Ein weiteres innovatives Element des H2-Frameworks ist HeteroPP mit HeteroAuto, einer adaptiven Pipeline-Parallelitätsstrategie. Diese Strategie balanciert dynamisch die Rechenlast, die Speicherkapazitäten und die Kommunikationsüberhänge. In Tests mit einem 100-Milliarden-Parameter-LLM zeigte sich, dass der Ansatz konstant eine superlineare Beschleunigung erreicht und die Basislösungen für homogene Trainingsumgebungen um bis zu 16,37 % übertrifft.

Fazit: Effizienz und Machbarkeit von hyper-heterogenem Training

Die Ergebnisse der Evaluierungen bestätigen die Machbarkeit und Effizienz des hyper-heterogenen Trainings in bisher unerreichten Maßstäben. Mit Technologien wie DiTorch und DiComm wird das Training von KI-Modellen nicht nur schneller, sondern auch flexibler und anpassungsfähiger an die Anforderungen moderner Anwendungen.

Quellenliste:

• Quelle: H2: Towards Efficient Large-Scale LLM Training on Hyper-Heterogeneous Cluster over 1,000 Chips
• arXiv:2505.17548