Die Rolle von PyTorch im KI-Stack

PyTorch hat sich von einem Forschungs-Framework zu einer grundlegenden Plattform entwickelt, die generative KI antreibt. Die PyTorch Foundation wurde erweitert, um komplementäre Projekte zu integrieren und die skalierbare Entwicklung von KI zu unterstützen.

Einführung in PyTorch

Heute ist PyTorch eine treibende Kraft in der Welt der generativen KI. Große Akteure wie Meta, OpenAI, Microsoft, Amazon und Apple nutzen PyTorch, um hochmoderne KI-Systeme zu entwickeln. Ursprünglich konzentrierte sich PyTorch auf die Unterstützung von KI-Forschern, um ihre Ideen schnell zu validieren und das Training zu beschleunigen. Mit der Einführung von PyTorch 1.0 und später PyTorch 2.0 wurde der Fokus auf Leistung und die Unterstützung heterogener Hardware ausgeweitet, was zur Entwicklung von torch.compile und TorchInductor führte.

Die Entwicklung der PyTorch Foundation

Die PyTorch Foundation hat sich zu einer Dachorganisation entwickelt, die einige der beliebtesten und komplementären Projekte im KI-Bereich beherbergt. Diese Entwicklung ermöglicht es Nutzern, KI in größerem Maßstab zu entwickeln. Die Foundation ist gut positioniert, um die KI-Transformation über den gesamten Stack hinweg zu unterstützen, von der Beschleunigung der Berechnungen bis hin zur Unterstützung der nächsten Welle agentischer Systeme.

Herausforderungen im KI-Bereich

In den letzten zwei Jahren hat sich die KI-Landschaft erheblich verändert. Große Sprachmodelle (LLMs) stehen im Vordergrund und treiben Anwendungen wie ChatGPT voran. Trotz dieser Fortschritte bestehen erhebliche Herausforderungen, während wir in eine Welt der generativen KI und agentischer Systeme übergehen. Zu den zentralen Fragen gehören:

• Wie optimieren wir die Schaffung von Intelligenz pro eingesetzter Energie?
• Wie können wir die kontinuierliche Verbesserung und Anpassung von Intelligenz demokratisieren?
• Wie können wir zusätzliche Fähigkeiten außerhalb von Modellen beschleunigen?
• Wie messen wir Intelligenz effektiv, sodass sie mit den Erwartungen der Endnutzer übereinstimmt?

Diese Fragen erfordern eine kollektive Anstrengung der Gemeinschaft, um gemeinsame Ziele zu erreichen und eine umfassende Infrastruktur für die Entwicklung von KI zu schaffen.

Eine breitere Vision für PyTorch

Eine Möglichkeit, die breitere Vision für PyTorch zu formulieren, besteht darin, es als “Die offene Sprache der KI” zu betrachten. Die PyTorch Foundation hat sich zu einer Dachstiftung entwickelt, die den Umfang und die Auswirkungen von PyTorch über seine traditionellen Wurzeln hinaus erweitert. Wir begrüßen neue Projekte in der Foundation, die die gleichen Designprinzipien einhalten, die PyTorch bis heute geleitet haben.

Fokus auf kurzfristige Ziele

Im Jahr 2025 wird das Kernprojekt von PyTorch in mehreren Bereichen Fortschritte machen. Zu den Schwerpunkten gehören:

• Optimierung der APIs und Laufzeiten für LLMs und lokale Bereitstellungen.
• Vereinheitlichung der Nachtrainingsbemühungen zur Unterstützung von PyTorch-nativen Nachtrainings.
• Arbeiten an großflächigem Training mit einem Fokus auf hohe Parallelität.
• Verbesserungen für torch.compile und tiefere Integration mit Trainingsframeworks.
• Erhöhung der Investitionen in lokale Bereitstellungen.

Die PyTorch Foundation wird weiterhin qualitativ hochwertige und komplementäre Projekte anziehen, die die Vision von PyTorch stärken und ein reichhaltiges Portfolio an KI-Projekten schaffen.

Wo wir von hier aus hingehen

Mit der PyTorch Foundation, die nun eine Dachstiftung ist, konzentrieren wir uns darauf, qualitativ hochwertige Projekte zu integrieren, die den Umfang und die Vision von PyTorch erweitern. Wir freuen uns auf die bevorstehenden Ankündigungen neuer Projekte, die die Vision von PyTorch stärken werden. Unsere Gemeinschaft wächst schnell, mit drei PyTorch Days in 2025 in Asien, Europa und Indien sowie der PyTorch Conference am 22. und 23. Oktober.