Beiträge

YOU COULD’VE INVENTED TRANSFORMERS
/
0 Kommentare
Die grundlegende Architektur von LLMs kann als eine Reihe von einfachen Schritten erklärt werden, die vom 0-Zählproblem der n-grams über Embeddings, neuronale Sprachmodelle bis hin zur Selbstaufmerksamkeit reichen.

RANDOM REWARDS DURING RL BOOST MATH REASONING IN SOME LLMS
Die Qwen2.5-Math Modelle zeigen, dass zufällige Belohnungen wie falsches Feedback zu signifikanten Leistungssteigerungen im maschinellen Lernen führen können.

Learning to Reason Without External Rewards: Ein neuer Ansatz im Reinforcement Learning
In diesem Artikel beleuchten wir die innovative Methode Intuitor, die es Large Language Models ermöglicht, ohne externe Belohnungen zu lernen und somit die Effizienz von KI-Systemen zu steigern.

Benchmarking Audio-Visual QA mit Daily-Omni
Daily-Omni ist ein Benchmark und trainingsfreier Agent zur Evaluierung von Modellen, die ein synchronisiertes audio-visuelles Verständnis erfordern. Der Artikel beleuchtet die wichtigsten Aspekte und die Bedeutung von Daily-Omni für die Forschung.

Evaluierung fehlender Modalitäten im multimodalen Lernen
In diesem Artikel beleuchten wir das ICYM2I-Framework, das entwickelt wurde, um Verzerrungen bei der Schätzung des Informationsgewinns in multimodalen Modellen mit fehlenden Daten zu korrigieren.

Forward-Only Diffusion: Ein neuer Ansatz in der generativen Modellierung
Die Forward-Only Diffusion (FoD) stellt einen neuen Ansatz in der generativen Modellierung dar, der auf einer mean-reverting stochastischen Differentialgleichung basiert und sich von traditionellen Diffusionsmodellen abhebt.

SELF-SUPERVISED CONVERSATIONAL SEARCH
ConvSearch-R1 reformulates conversational queries without external supervision by using reinforcement learning with retrieval-based rewards.

OPENAI COOKBOOK: MODEL GRADERS FOR REINFORCEMENT FINE-TUNING
In diesem Tutorial wird erläutert, wie man Reinforcement Fine-Tuning (RFT) anwendet, um die Fähigkeiten des o4-mini-Modells in medizinischen Aufgaben zu verbessern.

Quantisierung von Diffusionsmodellen: Effizienzsteigerung durch moderne Techniken
In diesem Artikel erfahren Sie, wie Quantisierungstechniken in Hugging Face Diffusers die Modellgröße reduzieren und die Effizienz von Diffusionsmodellen steigern.