Beiträge

Verbesserung der Natürlichkeit in generativen Sprachmodellen
/
0 Kommentare
In diesem Artikel wird ein neuartiges variationales Framework vorgestellt, das die Natürlichkeit in generativen Sprachmodellen verbessert, indem es automatisch prosodische Merkmale lernt.

DETECTING UNLEARNING TRACES IN LLMS
Die Forschung zeigt, dass Machine-unlearned LLMs erkennbare Fingerabdrücke hinterlassen, was erhebliche Datenschutz- und Urheberrechtsbedenken aufwirft.

Text-to-LoRA: Instant Transformer Adaption
Forscher von Sakana AI haben mit Text-to-LoRA ein System entwickelt, das große Sprachmodelle sofort anpassen kann, basierend auf einer textuellen Beschreibung der Zielaufgabe.

Kimi-Dev-72B: Ein neuer Maßstab für Open-Source Coding LLMs
Moonshot AI hat mit Kimi-Dev-72B ein neues Open-Source-Modell für Softwareentwicklungsaufgaben vorgestellt, das eine bemerkenswerte Leistung von 60,4 % auf dem SWE-bench Verified erzielt hat.

Verstehen und Implementieren des KV-Caches in LLMs
In diesem Artikel erfahren Sie, wie Key-Value Caches in LLMs funktionieren und wie Sie diese effizient implementieren können.

OpenAI’s praktischer Leitfaden zum Aufbau von Agenten
Der Leitfaden von OpenAI bietet einen strukturierten Ansatz zum Aufbau von Agenten, beginnend mit einzelnen Agenten und der Verwendung von Manager-Patterns zur Koordination.

Spatiotemporale Aufmerksamkeit für die Decodierung von Motorik-Elektroenzephalogramm (MI-EEG)
In diesem Artikel stellen wir das TCANet vor, ein innovatives Modell zur Decodierung von Motorik-Elektroenzephalogramm (MI-EEG) Signalen, das auf mehrskaligen Faltungen und Selbstaufmerksamkeit basiert.

TREERL: LLM Reinforcement Learning mit On-Policy Tree Search
TreeRL nutzt On-Policy Tree Search und Zwischenaufsicht, um LLMs effizienter zu trainieren und die Notwendigkeit eines separaten Belohnungsmodells zu eliminieren.

LOW-BIT QUANTIZATION WITH PARETOQ
ParetoQ ist ein neuer Trainingsalgorithmus, der binäre, ternäre und 2- bis 4-Bit-Quantisierung vereint und dabei erstklassige Ergebnisse auf allen Ebenen erzielt.