Beiträge

Artikelbild für den Artikel: PINA: Eine neue Ära im Scientific Machine Learning mit PyTorch

PINA: Eine neue Ära im Scientific Machine Learning mit PyTorch

/
0 Kommentare
PINA ist eine neue Open-Source-Bibliothek für Scientific Machine Learning, die auf PyTorch basiert und eine einheitliche Plattform für die Modellierung komplexer Systeme bietet.
Artikelbild für den Artikel: FlashPack: Blitzschnelles Laden von Modellen für PyTorch

FlashPack: Blitzschnelles Laden von Modellen für PyTorch

/
0 Kommentare
FlashPack ist ein neues Dateiformat und Ladeverfahren für PyTorch, das die Ladezeiten von Modell-Checkpoints erheblich verkürzt. In diesem Artikel werden die Funktionsweise, Vorteile und Einschränkungen von FlashPack erläutert.
Artikelbild für den Artikel: Helion: Eine hochgradige DSL für leistungsfähige und portable ML-Kerne

Helion: Eine hochgradige DSL für leistungsfähige und portable ML-Kerne

/
0 Kommentare
Helion ist eine hochgradige, Python-embedded DSL für maschinelles Lernen, die eine neue Abstraktionsebene bietet, um benutzerdefinierte Kerne zu erstellen, die in Triton kompiliert werden. Der Artikel beleuchtet die Vorteile, die Programmiermodelle und die Leistungsanalyse von Helion.
Artikelbild für den Artikel: Disaggregierte Inferenz mit PyTorch und vLLM

Disaggregierte Inferenz mit PyTorch und vLLM

/
0 Kommentare
Die Integration von PyTorch und vLLM durch Meta verbessert die Effizienz generativer KI-Anwendungen durch die Disaggregation von Prefill und Decode, was zu optimierter Inferenzgeschwindigkeit und -effizienz führt.
Artikelbild für den Artikel: Die Optimierung von PyTorch-Inferenz auf Apple-Geräten durch KI-generierte Metal-Kernels

Die Optimierung von PyTorch-Inferenz auf Apple-Geräten durch KI-generierte Metal-Kernels

/
0 Kommentare
Eine neue Studie zeigt, dass KI-generierte Metal-Kernels die Inferenzgeschwindigkeit von PyTorch auf Apple-Geräten um 87% steigern können.
Artikelbild für den Artikel: Produktionstaugliche CUDA-Kernels erstellen

Produktionstaugliche CUDA-Kernels erstellen

/
0 Kommentare
In diesem Artikel erfahren Sie, wie Sie produktionstaugliche CUDA-Kernels mit der Kernel-Builder-Bibliothek von Hugging Face erstellen und bereitstellen können.
Artikelbild für den Artikel: Optimierung des Triton BF16 Grouped GEMM-Kernels für Mixture-of-Experts-Modelle

Optimierung des Triton BF16 Grouped GEMM-Kernels für Mixture-of-Experts-Modelle

/
0 Kommentare
Der Artikel behandelt die Optimierung des Triton BF16 Grouped GEMM-Kernels für Mixture-of-Experts-Modelle in PyTorch und beschreibt verschiedene Techniken zur Leistungssteigerung.
Artikelbild für den Artikel: Optimierung des Checkpointings mit PyTorch DCP

Optimierung des Checkpointings mit PyTorch DCP

/
0 Kommentare
In diesem Artikel erfahren Sie, wie die Ingenieure von PyTorch die Größe von Checkpoints um 22 % reduzieren konnten, indem sie einen modularen Kompressionsansatz verwendet haben.
Artikelbild für den Artikel: PyTorch und vLLM: Vertiefte Integration für effiziente LLM-Inferenz

PyTorch und vLLM: Vertiefte Integration für effiziente LLM-Inferenz

/
0 Kommentare
Die vertiefte Integration von PyTorch und vLLM bietet neue Möglichkeiten für die effiziente Inferenz von großen Sprachmodellen und optimiert generative KI-Anwendungen.