Beiträge

CUTTING LORA REDUNDANCY
/
0 Kommentare
SeLoRA re-parametrisiert LoRA-Adapter in einem spärlichen spektralen Unterraum, entfernt redundante Parameter und steigert die Genauigkeit bei verschiedenen Aufgaben.

Agentic Search für Einsteiger: Ein neuer Ansatz für die KI-Suche
In diesem Artikel wird ein alternativer Ansatz zur KI-Suche vorgestellt, der die Einschränkungen traditioneller Methoden überwindet, indem er Volltextsuche mit Offline-Augmentierung und Multi-Query-Fusion kombiniert.

FRAME PACK: VIDEO GENERATION LIKE IMAGE GENERATION
Frame Pack ist eine Methode zur Reduzierung der Rechenlast bei der Generierung von Videos, die Bildlatenzen und eine clevere Frame-Packing-Methode nutzt.

StochasTok: Verbesserung des feingranularen Subwortverständnisses in LLMs
StochasTok ist ein innovativer Ansatz zur Verbesserung des feingranularen Subwortverständnisses in großen Sprachmodellen (LLMs) und ermöglicht eine präzisere Verarbeitung von Sprache durch zufällige Token-Zerlegung.

Verbesserung der Natürlichkeit in generativen Sprachmodellen
In diesem Artikel wird ein neuartiges variationales Framework vorgestellt, das die Natürlichkeit in generativen Sprachmodellen verbessert, indem es automatisch prosodische Merkmale lernt.

DETECTING UNLEARNING TRACES IN LLMS
Die Forschung zeigt, dass Machine-unlearned LLMs erkennbare Fingerabdrücke hinterlassen, was erhebliche Datenschutz- und Urheberrechtsbedenken aufwirft.

Text-to-LoRA: Instant Transformer Adaption
Forscher von Sakana AI haben mit Text-to-LoRA ein System entwickelt, das große Sprachmodelle sofort anpassen kann, basierend auf einer textuellen Beschreibung der Zielaufgabe.

Kimi-Dev-72B: Ein neuer Maßstab für Open-Source Coding LLMs
Moonshot AI hat mit Kimi-Dev-72B ein neues Open-Source-Modell für Softwareentwicklungsaufgaben vorgestellt, das eine bemerkenswerte Leistung von 60,4 % auf dem SWE-bench Verified erzielt hat.

Verstehen und Implementieren des KV-Caches in LLMs
In diesem Artikel erfahren Sie, wie Key-Value Caches in LLMs funktionieren und wie Sie diese effizient implementieren können.
