KumoRFM: Das Relationale Foundation Model für Unternehmensdaten

KumoRFM ist ein vortrainiertes relationales Foundation Model, das entwickelt wurde, um über jede Datenbank und jede prädiktive Aufgabe hinweg zu arbeiten, ohne dass eine aufgabenspezifische Schulung erforderlich ist. In einer Zeit, in der Foundation Models (FMs) in unstrukturierten Datenbereichen wie natürlicher Sprache und Bildern erhebliche Fortschritte erzielt haben, bleibt der Bereich der strukturierten und semi-strukturierten relationalen Daten weitgehend unberührt von dieser KI-Welle.

Einführung in KumoRFM

Traditionell verwenden Praktiker konventionelle maschinelle Lernansätze und bauen spezifische Modelle für jede Aufgabe und jedes Dataset, was erheblichen Entwicklungs- und Abstimmungsaufwand erfordert. KumoRFM hingegen ist ein relationales Foundation Model (RFM), das in der Lage ist, genaue Vorhersagen über relationale Datenbanken hinweg zu treffen, ohne dass eine spezifische Schulung für Daten oder Aufgaben erforderlich ist. Das Modell erweitert die Prinzipien des In-Context-Lernens auf die Multi-Table-Relational-Graph-Umgebung.

Leistungsfähigkeit von KumoRFM

Durch umfangreiche Bewertungen auf dem RelBench-Benchmark, der 30 prädiktive Aufgaben über sieben Domänen abdeckt, zeigt sich, dass KumoRFM im Durchschnitt sowohl die de-facto Gold-Standards der Merkmalsengineering-Methoden als auch End-to-End überwachte Deep-Learning-Ansätze um 2 % bis 8 % übertrifft. Bei einer Feinabstimmung auf eine spezifische Aufgabe kann KumoRFM seine Leistung im Durchschnitt um 10 % bis 30 % weiter verbessern.

Was sind Relationale Foundation Models?

Relationale Daten werden typischerweise als strukturierte Tabellen in Datenlagern gespeichert und repräsentieren Entitäten wie Benutzerkonten, Transaktionshistorien, Interaktionen in der Lieferkette, Produktkataloge, Finanzbücher und Gesundheitsakten. Solche Daten werden häufig für prädiktive Fragen verwendet, wie zum Beispiel: “Ist eine gegebene Transaktion betrügerisch?”, “Mit welchem Artikel wird ein Benutzer wahrscheinlich als nächstes interagieren?” oder “Wird ein Benutzer den Service abbestellen?”

Die Architektur von KumoRFM

KumoRFM arbeitet mit relationalen Datenbanken, indem es diese intern in temporale, heterogene Graphen umwandelt. Jede Tabelle in der Datenbank wird als ein eigener Knotentyp behandelt, und die Zeilen in den Tabellen werden zu Knoten. Die Beziehungen über Fremdschlüssel definieren die Kanten zwischen den Knoten. Jeder Knoten kann multimodale Informationen wie numerische Werte, Kategorien, Zeitstempel, Text oder Vektor-Einbettungen tragen.

Wesentliche Komponenten der Architektur

1. Ein leistungsstarker Echtzeit-In-Context-Label-Generator, der dynamisch aufgabenbezogene Kontextlabels für jede Entität zu jedem Zeitpunkt kuratiert.
2. Ein neuartiges vortrainiertes Relational Foundation Model, das nahtlos einen tabellenbreiten invarianten Spaltenencoder integriert und tabellenweise Aufmerksamkeitsmechanismen durchführt.
3. Ein umfassendes Erklärungsmodul, das sowohl analytische als auch gradientenbasierte Techniken nutzt, um Erklärungen auf globaler Datenebene sowie für einzelne Entitäten bereitzustellen.
4. Für produktionsrelevante Bereitstellungen oder hochdurchsatzfähige Aufgaben unterstützt KumoRFM die Feinabstimmung, sodass das vortrainierte Modell auf eine spezifische Abfrage oder ein Dataset spezialisiert werden kann.

Fazit

KumoRFM integriert Vortraining, In-Context-Lernen und relationale Graphen-Reasoning in ein einheitliches Foundation Model für strukturierte Daten. Die Benchmark-Ergebnisse zeigen, dass KumoRFM vergleichbare oder bessere Ergebnisse als expertengestützte Lösungen erzielt. Besonders bemerkenswert ist, dass KumoRFM selbst ohne aufgabenspezifisches Training wettbewerbsfähige Leistungen im Vergleich zu überwachten Ansätzen zeigt. Diese Ergebnisse unterstreichen den Wert eines relationalen Foundation Models: die Ermöglichung von Echtzeitvorhersagen mit minimalem Aufwand.

Quellenliste:

• Quelle: KumoRFM: A Foundation Model for In-Context Learning on Relational Data
• RelBench Benchmark
• Predictive Query Language (PQL)
• Relational Graph Transformers