Schlagwortarchiv für: Benchmark

Das OpenAI MRCR Dataset ist ein langes Kontext-Dataset, das die Fähigkeit von LLMs testet, mehrere identische Anfragen in einem komplexen Dialog zu identifizieren und zu verarbeiten.

LMEval ist ein Open-Source-Framework von Google zur effizienten Bewertung von KI-Modellen über verschiedene Anbieter hinweg. Es bietet multimodale Unterstützung und inkrementelle Evaluierung, um die Herausforderungen der schnellen Modellbewertung zu meistern.

In der Welt der künstlichen Intelligenz ist es eine ständige Herausforderung, wie man große Sprachmodelle (LLMs) dazu bringt, in schematischen Bewertungen realistisch zu agieren. Ein kürzlich veröffentlichter Artikel beleuchtet diese Problematik und zeigt auf, dass es äußerst schwierig ist, LLMs davon zu überzeugen, dass sie sich in einer realen Situation und nicht in einer Bewertung befinden.

AI2 hat mit Olmo 2 1B ein neues KI-Modell vorgestellt, das in wichtigen Benchmarks besser abschneidet als vergleichbare Modelle von Google, Meta und Alibaba. Das Modell ist unter einer permissiven Lizenz verfügbar und kann auf weniger leistungsfähiger Hardware betrieben werden.