Beiträge

StochasTok: Verbesserung des feingranularen Subwortverständnisses in LLMs
/
0 Kommentare
StochasTok ist ein innovativer Ansatz zur Verbesserung des feingranularen Subwortverständnisses in großen Sprachmodellen (LLMs) und ermöglicht eine präzisere Verarbeitung von Sprache durch zufällige Token-Zerlegung.

Verbesserung der Natürlichkeit in generativen Sprachmodellen
In diesem Artikel wird ein neuartiges variationales Framework vorgestellt, das die Natürlichkeit in generativen Sprachmodellen verbessert, indem es automatisch prosodische Merkmale lernt.

Text-to-LoRA: Instant Transformer Adaption
Forscher von Sakana AI haben mit Text-to-LoRA ein System entwickelt, das große Sprachmodelle sofort anpassen kann, basierend auf einer textuellen Beschreibung der Zielaufgabe.

Kimi-Dev-72B: Ein neuer Maßstab für Open-Source Coding LLMs
Moonshot AI hat mit Kimi-Dev-72B ein neues Open-Source-Modell für Softwareentwicklungsaufgaben vorgestellt, das eine bemerkenswerte Leistung von 60,4 % auf dem SWE-bench Verified erzielt hat.

Verstehen und Implementieren des KV-Caches in LLMs
In diesem Artikel erfahren Sie, wie Key-Value Caches in LLMs funktionieren und wie Sie diese effizient implementieren können.

OpenAI’s praktischer Leitfaden zum Aufbau von Agenten
Der Leitfaden von OpenAI bietet einen strukturierten Ansatz zum Aufbau von Agenten, beginnend mit einzelnen Agenten und der Verwendung von Manager-Patterns zur Koordination.

Spatiotemporale Aufmerksamkeit für die Decodierung von Motorik-Elektroenzephalogramm (MI-EEG)
In diesem Artikel stellen wir das TCANet vor, ein innovatives Modell zur Decodierung von Motorik-Elektroenzephalogramm (MI-EEG) Signalen, das auf mehrskaligen Faltungen und Selbstaufmerksamkeit basiert.

TREERL: LLM Reinforcement Learning mit On-Policy Tree Search
TreeRL nutzt On-Policy Tree Search und Zwischenaufsicht, um LLMs effizienter zu trainieren und die Notwendigkeit eines separaten Belohnungsmodells zu eliminieren.

LOW-BIT QUANTIZATION WITH PARETOQ
ParetoQ ist ein neuer Trainingsalgorithmus, der binäre, ternäre und 2- bis 4-Bit-Quantisierung vereint und dabei erstklassige Ergebnisse auf allen Ebenen erzielt.
