Featherless AI auf Hugging Face: Serverless Zugriff auf KI-Modelle

Featherless AI ist jetzt als Inference Provider auf Hugging Face verfügbar und bietet serverlosen Zugriff auf eine Vielzahl von Modellen. Diese Entwicklung erweitert die Möglichkeiten für Entwickler und Unternehmen, die leistungsstarke KI-Modelle in ihre Anwendungen integrieren möchten.

Einführung in Featherless AI

Featherless AI ist ein innovativer Anbieter für serverlose KI-Inferenz, der eine breite Palette von Text- und Konversationsmodellen unterstützt. Dazu gehören die neuesten Open-Source-Modelle von DeepSeek, Meta, Google, Qwen und vielen anderen. Mit Featherless AI können Benutzer auf ein außergewöhnlich großes Katalog von Modellen zugreifen, ohne sich um die zugrunde liegende Infrastruktur kümmern zu müssen.

Vorteile von Featherless AI

Ein wesentlicher Vorteil von Featherless AI ist die Kombination aus einer großen Modellvielfalt und serverlosen Preisen. Während viele Anbieter entweder eine begrenzte Anzahl von Modellen zu niedrigen Kosten oder eine unbegrenzte Auswahl mit hohen Betriebskosten anbieten, bietet Featherless AI das Beste aus beiden Welten. Benutzer können die Modelle nach Bedarf nutzen, ohne sich um Servermanagement und damit verbundene Kosten kümmern zu müssen.

Integration in Hugging Face

Die Integration von Featherless AI in den Hugging Face Hub ermöglicht es Entwicklern, einfach auf eine Vielzahl von Modellen zuzugreifen. Inference Providers sind nahtlos in die Client-SDKs für JavaScript und Python integriert, was die Nutzung der Modelle mit bevorzugten Anbietern erleichtert. Benutzer können ihre API-Schlüssel in den Kontoeinstellungen festlegen und die Anbieter nach Vorlieben anordnen.

Wie funktioniert die Nutzung von Featherless AI?

Die Nutzung von Featherless AI erfolgt über zwei Hauptmodi:

• Custom Key: Anfragen werden direkt an den Inference Provider gesendet, wobei der eigene API-Schlüssel verwendet wird.
• Routed by HF: In diesem Fall ist kein Token vom Anbieter erforderlich, und die Gebühren werden direkt über das Hugging Face-Konto abgerechnet.

Die Modellseiten zeigen Drittanbieter-Inferenzanbieter an, die mit dem aktuellen Modell kompatibel sind, sortiert nach Benutzerpräferenzen.

Beispielanwendungen

Hier sind einige Beispiele, wie man Featherless AI in Python und JavaScript verwenden kann:

Python Beispiel

import os
from huggingface_hub import InferenceClient

client = InferenceClient(provider="featherless-ai", api_key=os.environ["HF_TOKEN"])

messages = [{"role": "user", "content": "Was ist die Hauptstadt von Frankreich?"}]
completion = client.chat.completions.create(model="deepseek-ai/DeepSeek-R1-0528", messages=messages)
print(completion.choices[0].message)

JavaScript Beispiel

import { InferenceClient } from "@huggingface/inference";

const client = new InferenceClient(process.env.HF_TOKEN);
const chatCompletion = await client.chatCompletion({
    model: "deepseek-ai/DeepSeek-R1-0528",
    messages: [{ role: "user", content: "Was ist die Hauptstadt von Frankreich?" }],
    provider: "featherless-ai",
});
console.log(chatCompletion.choices[0].message);

Abrechnung und Kosten

Bei direkten Anfragen, d.h. wenn der Schlüssel eines Inference Providers verwendet wird, erfolgt die Abrechnung über den entsprechenden Anbieter. Bei gerouteten Anfragen, d.h. wenn die Authentifizierung über den Hugging Face Hub erfolgt, zahlen Benutzer nur die Standardpreise des Anbieters. Es gibt keine zusätzlichen Gebühren von Hugging Face.

Pro-Nutzer erhalten jeden Monat $2 an Inferenzguthaben, die sie über Anbieter hinweg verwenden können. Es wird empfohlen, auf den Hugging Face PRO-Plan zu abonnieren, um Zugang zu Inferenzguthaben, ZeroGPU, Spaces Dev Mode und höheren Limits zu erhalten.

Feedback und nächste Schritte

Die Entwickler von Hugging Face freuen sich auf Ihr Feedback! Teilen Sie Ihre Gedanken und Kommentare in der Hugging Discussions.

Quellenliste:

• Quelle: Featherless AI auf Hugging Face
• Modellübersicht auf Hugging Face
• Dokumentation zu Featherless AI