Beiträge

Die Lebensdauer einer Inferenzanfrage (vLLM V1): Wie LLMs effizient im großen Maßstab bereitgestellt werden
/
0 Kommentare
In diesem Artikel tauchen wir tief in die Funktionsweise von vLLM ein und erläutern, wie Anfragen verarbeitet werden, um eine effiziente Nutzung von Ressourcen zu gewährleisten.

Chinas größter öffentlicher KI-Drop seit DeepSeek: Baidus Open Source Ernie steht vor der Markteinführung
Baidu plant, sein Ernie-Modell als Open Source anzubieten, was erhebliche Auswirkungen auf den KI-Markt haben könnte und den Wettbewerb zwischen China und den USA neu definiert.
![FLUX.1 Kontext [DEV] - Open Weights für Bildbearbeitung 3 Artikelbild für den Artikel: FLUX.1 Kontext [DEV] - Open Weights für Bildbearbeitung](https://trend-forge.de/wp-content/uploads/2025/07/2025-07-01_08-25_flux1-kontext-dev-open-weights-fuer-bildbearbeitung-495x400.png)
FLUX.1 Kontext [DEV] – Open Weights für Bildbearbeitung
Die Veröffentlichung von FLUX.1 Kontext [dev] revolutioniert die generative Bildbearbeitung mit einem leistungsstarken Open-Weight-Modell, das auf Consumer-Hardware läuft und kostenlose Nutzung für Forschung und nicht-kommerzielle Zwecke bietet.

Google veröffentlicht Open-Source Gemini CLI Terminal Agent
Google hat mit dem Gemini CLI ein neues Open-Source-Tool vorgestellt, das Entwicklern direkten Zugang zu den KI-Funktionen von Gemini bietet. Mit einer beeindruckenden Kapazität von 60 Anfragen pro Minute und 1.000 täglichen Anfragen können Entwickler dieses Tool kostenlos nutzen, um ihre Programmiererfahrung zu verbessern.

Kimi-Dev-72B: Ein neuer Maßstab für Open-Source Coding LLMs
Moonshot AI hat mit Kimi-Dev-72B ein neues Open-Source-Modell für Softwareentwicklungsaufgaben vorgestellt, das eine bemerkenswerte Leistung von 60,4 % auf dem SWE-bench Verified erzielt hat.

Mistral präsentiert das erste KI-Reasoning-Modell: Magistral
Mistral hat mit Magistral ein neues Open-Source-Reasoning-Modell vorgestellt, das in der Lage ist, komplexe Probleme schneller und mehrsprachig zu lösen.

Common Pile v0.1: Ein Durchbruch für offene Datensätze in der KI-Forschung
Hugging Face und seine Partner haben das Common Pile v0.1 veröffentlicht, ein 8 TB umfassendes, offen lizenziertes Datenset zur Schulung großer Sprachmodelle.

Qwen3 Embedding: Fortschritte in der Text-Einbettung und Neurangierung durch Foundation-Modelle
Alibaba hat die Qwen3 Embedding-Serie als Open Source veröffentlicht, wobei das 8B-Modell den ersten Platz auf der MTEB multilingual leaderboard erreicht hat. Diese Modelle sind speziell für Aufgaben der Texteingabe, -abruf und -neurangierung konzipiert.

JigsawStack launcht Open-Source Deep Research Tool
JigsawStack hat ein neues Open-Source-Framework namens Deep Research vorgestellt, das die Durchführung tiefgehender Recherchen revolutioniert. Es kombiniert LLMs, Web-Suchen und strukturiertes Denken, um umfassende Berichte zu erstellen.

Hugging Face präsentiert zwei vollständig Open-Source-Humanoide Roboter
Hugging Face hat zwei neue humanoide Roboter vorgestellt: HopeJR und Reachy Mini, die Open Source sind und darauf abzielen, KI-Anwendungen zu testen.

CHATTERBOX TEXT-TO-SPEECH: Ein neuer Maßstab für TTS-Modelle
Resemble AI hat ein neues Open-Source TTS-Modell namens Chatterbox veröffentlicht, das in Benchmarks besser abschneidet als ElevenLabs und emotionale Übersteuerungsfunktionen bietet.

Anthropic Open-Sources Circuit Tracing Tools für AI Interpretability
Anthropic hat neue Tools zur Nachverfolgung von Entscheidungsprozessen in großen Sprachmodellen open-sourcet, um die Interpretierbarkeit von KI zu verbessern.

Google Open Sources LMEval für die Bewertung von Modellen über Anbieter hinweg
LMEval ist ein Open-Source-Framework von Google zur effizienten Bewertung von KI-Modellen über verschiedene Anbieter hinweg. Es bietet multimodale Unterstützung und inkrementelle Evaluierung, um die Herausforderungen der schnellen Modellbewertung zu meistern.

Notte Labs Web Agent Framework: Die Zukunft der KI-Agenten
Notte ist ein Open-Source-Framework zur Entwicklung von KI-Agenten, die Webseiten durchsuchen und mit ihnen interagieren. Die zentrale Innovation ist eine „Wahrnehmungsschicht“, die Webseiten in strukturierte, natürliche Sprachbeschreibungen umwandelt.

EMERGING PROPERTIES IN UNIFIED MULTIMODAL PRETRAINING
ByteDance hat ein neues Open-Source-Multimodal-Foundation-Modell namens BAGEL veröffentlicht, das nativ multimodales Verständnis und Generierung unterstützt.

Mistral’s Agentic LLM für Software Engineering: Devstral im Fokus
Mistral AI und All Hands AI haben Devstral vorgestellt, ein neues Open-Source LLM, das speziell für Software Engineering optimiert ist und reale Herausforderungen in der Softwareentwicklung adressiert.

Production-Ready MCP Integration für jede KI-Anwendung
Klavis AI vereinfacht die Integration mit produktionsbereiten MCP-Servern und bietet stabile Verbindungen, integrierte Authentifizierung und Unterstützung für mehrere Clients.

OpenAlpha_Evolve: Die Open-Source-Alternative zu Googles neuem KI-Algorithmus
OpenAlpha_Evolve ist ein Open-Source-Python-Framework, das von dem kürzlich veröffentlichten technischen Papier zu DeepMind's AlphaEvolve inspiriert wurde. Es zielt darauf ab, eine zugängliche, verständliche und erweiterbare Plattform für Forscher, Entwickler und Technikbegeisterte zu bieten.

BLIP3-O: Eine neue Ära der multimodalen Modelle
BLIP3-o ist eine neue Diffusions-Transformer-Architektur, die herausragende Ergebnisse in multimodalen Benchmarks erzielt und die Integration von Bildverständnis und -generierung revolutioniert.

OpenThinkIMG: Ein visuelles Werkzeug für KI-Agenten
OpenThinkIMG ist ein Open-Source-Framework, das es vision-language Modellen ermöglicht, aktiv mit visuellen Werkzeugen zu interagieren und komplexe visuelle Probleme zu lösen.