Beiträge

Artikelbild für den Artikel: Die Illusion abnehmender Erträge: Messung der Langzeit-Ausführung in LLMs

Die Illusion abnehmender Erträge: Messung der Langzeit-Ausführung in LLMs

/
In diesem Artikel untersuchen wir die Effizienz von großen Sprachmodellen (LLMs) bei der Ausführung längerer Aufgaben und die Herausforderungen, die mit der Skalierung dieser Modelle verbunden sind.
Artikelbild für den Artikel: Scaling Laws für Mixture-of-Experts Modelle

Scaling Laws für Mixture-of-Experts Modelle

/
In diesem Artikel untersuchen wir die Effizienz von Mixture-of-Experts Modellen und das Konzept der Efficiency Leverage, basierend auf einer aktuellen empirischen Studie.