LLMs für Zeitreihen: Eine Umfrage zur Anpassung großer Sprachmodelle

Die vorliegende Umfrage untersucht, wie Techniken der Kreuzmodalität große Sprachmodelle (LLMs) für die Analyse von Zeitreihen anpassen.

Einführung

Die Verbreitung von Edge-Geräten hat ein beispielloses Volumen an Zeitreihendaten in verschiedenen Bereichen erzeugt, was verschiedene maßgeschneiderte Methoden motiviert hat. In den letzten Jahren haben sich große Sprachmodelle (LLMs) als neues Paradigma für die Analyse von Zeitreihen etabliert, indem sie die gemeinsame sequenzielle Natur von Textdaten und Zeitreihen nutzen. Allerdings besteht eine grundlegende Kreuzmodalitätslücke zwischen Zeitreihen und LLMs, da LLMs auf Textkorpora vortrainiert sind und nicht von Natur aus für Zeitreihen optimiert sind.

Taxonomie der Ansätze

In dieser Umfrage bieten wir einen aktuellen Überblick über die auf LLMs basierenden Kreuzmodalitätsmodelle für die Analyse von Zeitreihen. Zunächst stellen wir eine Taxonomie vor, die bestehende Ansätze in vier Gruppen klassifiziert, basierend auf der Art der verwendeten Textdaten für die Modellierung von Zeitreihen.

Kreuzmodalitätsstrategien

Wir fassen wichtige Kreuzmodalitätsstrategien zusammen, wie z.B. Ausrichtung und Fusion, und diskutieren deren Anwendungen in einer Vielzahl von nachgelagerten Aufgaben. Diese Strategien sind entscheidend, um die Lücke zwischen den Textdaten und den Zeitreihendaten zu überbrücken und die Leistung der Modelle zu verbessern.

Experimente und Ergebnisse

Darüber hinaus führen wir Experimente mit multimodalen Datensätzen aus verschiedenen Anwendungsbereichen durch, um effektive Kombinationen von Textdaten und Kreuzmodalitätsstrategien zu untersuchen, die die Analyse von Zeitreihen verbessern können. Die Ergebnisse zeigen vielversprechende Ansätze zur Optimierung der Leistung von LLMs bei der Analyse von Zeitreihen.

Ausblick auf zukünftige Forschungen

Abschließend schlagen wir mehrere vielversprechende Richtungen für zukünftige Forschungen vor. Diese umfassen die Weiterentwicklung von Modellen, die besser auf die spezifischen Anforderungen der Zeitreihenanalyse abgestimmt sind, sowie die Erschließung neuer Anwendungsbereiche, in denen LLMs einen signifikanten Mehrwert bieten können.

Fazit

Diese Umfrage richtet sich an eine Vielzahl von Fachleuten, Forschern und Praktikern, die an der Modellierung von Zeitreihen auf Basis von LLMs interessiert sind. Die Erkenntnisse aus dieser Untersuchung können als Grundlage für zukünftige Entwicklungen in diesem spannenden und dynamischen Forschungsbereich dienen.

Quellenliste:

• Quelle: Towards Cross-Modality Modeling for Time Series Analytics: A Survey in the LLM Era
• DOI: 10.48550/arXiv.2505.02583