Meta betritt das Token-Geschäft, unterstützt von NVIDIA, Cerebras und Groq

Meta hat auf der ersten eigenen Veranstaltung für KI-Entwickler, LlamaCon, in Menlo Park angekündigt, dass das Unternehmen bereit ist, mit ChatGPT von OpenAI sowie mit Google, AWS und anderen KI-Startups zu konkurrieren. Dies ist ein bedeutender Schritt für Meta und die gesamte KI-Branche, da der Hersteller des beliebten Open-Source-Modells Llama direkt von der enormen Akzeptanz profitieren möchte, die er erzielt hat.

Entwickler können das Modell einfach über die Cloud abrufen, ohne dass Hardware oder Software installiert werden muss. Dies macht es für Entwickler besonders attraktiv, da sie nur Groq oder Cerebras in ihrem API-Aufruf auswählen müssen.

Die Rolle von Cerebras und Groq

Die beiden Startups Cerebras und Groq wurden von Meta ausgewählt, um schnelle Token-Berechnungen durchzuführen, die viele Male schneller sind als die von GPUs. Cerebras ist der schnellste Inferenzprozessor der Branche und bietet eine Geschwindigkeit, die etwa 18-mal schneller ist als die von herkömmlichen GPUs. Groq ist ebenfalls fünfmal schneller als jede GPU.

„Cerebras ist stolz darauf, die Llama API zur schnellsten Inferenz-API der Welt zu machen“, sagte Andrew Feldman, CEO und Mitbegründer von Cerebras. „Entwickler, die agentenbasierte und Echtzeitanwendungen erstellen, benötigen Geschwindigkeit. Mit Cerebras auf der Llama API können sie KI-Systeme entwickeln, die für führende GPU-basierte Inferenz-Clouds grundsätzlich unerreichbar sind.“

Die Bedeutung der Geschwindigkeit in der KI

Die Fähigkeit, Inferenzanfragen mit etwa 100 Tokens pro Sekunde durchzuführen, ist schneller als ein Mensch lesen kann. Dies bedeutet, dass „One-Shot“-Inferenzanfragen für Dienste wie ChatGPT problemlos auf GPUs ausgeführt werden können. Allerdings können Multi-Modell-Agenten und reasoning Modelle die Rechenanforderungen um das Hundertfache erhöhen, was eine Gelegenheit für schnellere Inferenz von Unternehmen wie Cerebras und Groq eröffnet.

Meta hat zwar das dritte Unternehmen für schnelle Inferenz, Samba Nova, nicht erwähnt, aber angedeutet, dass sie offen für andere Rechenoptionen in der Zukunft sind. Es wird spannend sein zu sehen, wie gut diese beiden neuen Optionen im Bereich Tokens-as-a-Service abschneiden werden.

Fazit

Mit der Einführung der Llama API und der Partnerschaft mit Cerebras und Groq positioniert sich Meta als ernstzunehmender Mitbewerber im Bereich der KI-Inferenz. Die Geschwindigkeit und Effizienz dieser neuen Technologien könnten die Art und Weise, wie KI-Anwendungen entwickelt und bereitgestellt werden, revolutionieren.

Quellenliste:

• Quelle: Meta Enters The Token Business, Powered By Nvidia, Cerebras And Groq
• Innovation
• Enterprise Tech