Beiträge

Artikelbild für den Artikel: Optimierung des Triton BF16 Grouped GEMM-Kernels für Mixture-of-Experts-Modelle

Optimierung des Triton BF16 Grouped GEMM-Kernels für Mixture-of-Experts-Modelle

/
0 Kommentare
Der Artikel behandelt die Optimierung des Triton BF16 Grouped GEMM-Kernels für Mixture-of-Experts-Modelle in PyTorch und beschreibt verschiedene Techniken zur Leistungssteigerung.
Artikelbild für den Artikel: Optimierung des Checkpointings mit PyTorch DCP

Optimierung des Checkpointings mit PyTorch DCP

/
0 Kommentare
In diesem Artikel erfahren Sie, wie die Ingenieure von PyTorch die Größe von Checkpoints um 22 % reduzieren konnten, indem sie einen modularen Kompressionsansatz verwendet haben.
Artikelbild für den Artikel: PyTorch und vLLM: Vertiefte Integration für effiziente LLM-Inferenz

PyTorch und vLLM: Vertiefte Integration für effiziente LLM-Inferenz

/
0 Kommentare
Die vertiefte Integration von PyTorch und vLLM bietet neue Möglichkeiten für die effiziente Inferenz von großen Sprachmodellen und optimiert generative KI-Anwendungen.
Artikelbild für den Artikel: DeepNVMe Upgrade: Effiziente I/O-Skalierung für Deep Learning Anwendungen

DeepNVMe Upgrade: Effiziente I/O-Skalierung für Deep Learning Anwendungen

/
0 Kommentare
In diesem Artikel erfahren Sie alles über die neuesten Verbesserungen von DeepNVMe, einer Technologie zur Optimierung von I/O-Prozessen in Deep Learning Anwendungen.
Artikelbild für den Artikel: LOW-BIT QUANTIZATION WITH PARETOQ

LOW-BIT QUANTIZATION WITH PARETOQ

/
0 Kommentare
ParetoQ ist ein neuer Trainingsalgorithmus, der binäre, ternäre und 2- bis 4-Bit-Quantisierung vereint und dabei erstklassige Ergebnisse auf allen Ebenen erzielt.
Artikelbild für den Artikel: Hugging Face Safetensors jetzt in PyTorch Distributed Checkpointing unterstützt

Hugging Face Safetensors jetzt in PyTorch Distributed Checkpointing unterstützt

/
0 Kommentare
Die Unterstützung von Hugging Face Safetensors im PyTorch Distributed Checkpointing stellt einen bedeutenden Fortschritt in der Interoperabilität zwischen verschiedenen Modellformaten dar.
Artikelbild für den Artikel: Die Entwicklung moderner Techniken seit 'Attention Is All You Need'

Die Entwicklung moderner Techniken seit ‘Attention Is All You Need’

/
0 Kommentare
In diesem Artikel werfen wir einen Blick auf einige der wichtigsten Innovationen, die seit der Veröffentlichung des Papiers 'Attention Is All You Need' entstanden sind.
Artikelbild für den Artikel: Die Rolle von PyTorch im KI-Stack

Die Rolle von PyTorch im KI-Stack

/
0 Kommentare
PyTorch hat sich von einem Forschungs-Framework zu einer grundlegenden Plattform entwickelt, die generative KI antreibt. Die PyTorch Foundation wurde erweitert, um komplementäre Projekte zu integrieren und die skalierbare Entwicklung von KI zu unterstützen.
Artikelbild für den Artikel: 2025 PyTorch Docathon: Gemeinsam die Dokumentation verbessern

2025 PyTorch Docathon: Gemeinsam die Dokumentation verbessern

/
0 Kommentare
Der 2025 PyTorch Docathon ist ein Community-Event zur Verbesserung der Dokumentation von PyTorch, das allen Interessierten die Möglichkeit bietet, aktiv teilzunehmen und ihre Fähigkeiten zu entwickeln.