AGI ist ein Ingenieurproblem

Wir haben einen Wendepunkt in der Entwicklung von KI erreicht. Die Skalierungsgesetze, die einst versprachen, immer leistungsfähigere Modelle zu schaffen, zeigen nun abnehmende Erträge. GPT-5, Claude und Gemini sind bemerkenswerte Errungenschaften, stoßen jedoch an asymptotische Grenzen, die durch brutales Skalieren nicht gelöst werden können. Der Weg zur Artificial General Intelligence (AGI) führt nicht über die Ausbildung immer größerer Sprachmodelle, sondern über den Aufbau von ingenieurtechnischen Systemen, die Modelle, Gedächtnis, Kontext und deterministische Workflows zu etwas Größerem kombinieren.

Um es klar zu sagen: AGI ist ein Ingenieurproblem, kein Problem des Modelltrainings.

Die Realität des Stillstands

Die aktuelle Generation großer Sprachmodelle hat eine Wand erreicht, die für jeden, der täglich mit ihnen arbeitet, immer offensichtlicher wird. Sie sind beeindruckende Mustererkennungssysteme und Textgeneratoren, bleiben jedoch grundlegend durch ihre Unfähigkeit eingeschränkt, über Sitzungen hinweg einen kohärenten Kontext aufrechtzuerhalten, ihre mangelnde permanente Gedächtnisfähigkeit und ihre stochastische Natur, die sie für komplexe mehrstufige Argumentationen unzuverlässig macht.

Wir haben diesen Film schon einmal gesehen. Jede Technologie-Welle folgt dem gleichen Verlauf: anfänglicher Durchbruch, rasches Wachstum und dann steigende Grenzkosten für abnehmende Grenzgewinne. Die Halbleiterindustrie stieß Anfang der 2000er Jahre an diese Wand, als die Skalierung der Taktrate unmöglich wurde. Die Lösung damals war nicht, schnellere Prozessoren zu erzwingen, sondern die Architektur mit Multi-Core-Designs grundlegend neu zu überdenken.

KI steht an demselben Wendepunkt. Wir müssen aufhören zu fragen: „Wie machen wir das Modell größer?“ und anfangen zu fragen: „Wie machen wir das System intelligenter?“

Der systematische Ansatz zur AGI

Das menschliche Gehirn ist kein einzelnes neuronales Netz – es ist eine Sammlung spezialisierter Systeme, die zusammenarbeiten: Gedächtnisbildung, Kontextmanagement, logisches Denken, räumliche Navigation und Sprachverarbeitung. Jedes System hat spezifische Zwecke entwickelt, und sie arbeiten asynchron mit komplexen Rückkopplungsschleifen zwischen ihnen.

Wahre AGI erfordert, dass wir ähnliche Systeme entwickeln. Hier ist, was wir tatsächlich aufbauen müssen:

1. Kontextmanagement als Infrastruktur

• Aktuelle Modelle haben Aufmerksamkeitsdauern, die in Tausenden von Tokens gemessen werden. Der menschliche Kontext erstreckt sich über Jahre an Lebenserfahrung.
• Wir benötigen Kontextmanagementsysteme, die relevante Informationen auf Abruf abrufen und filtern können, kohärente Weltmodelle aufrechterhalten, die über Sitzungen hinweg bestehen und sich mit neuen Informationen weiterentwickeln.
• Diese Systeme müssen in der Lage sein, Kontextlücken zwischen verschiedenen spezialisierten Wissensdomänen zu überbrücken und widersprüchliche Informationen mit probabilistischer Gewichtung und Unsicherheitsquantifizierung zu behandeln.

2. Gedächtnis als Dienst

• LLMs haben kein Gedächtnis – sie verwenden aufwendige Methoden, um es durch Prompt Engineering und Kontextfüllung vorzutäuschen.
• Wahre AGI benötigt Gedächtnissysteme, die Überzeugungen aktualisieren, wenn sie durch neue Beweise widerlegt werden, Informationen über mehrere Erfahrungen hinweg in allgemeine Prinzipien konsolidieren und irrelevante Details ohne katastrophales Vergessen vergessen können.

3. Deterministische Workflows mit probabilistischen Komponenten

Der wahre Durchbruch in der AGI wird durch den Aufbau deterministischer Rahmenbedingungen kommen, die probabilistische Komponenten bei Bedarf integrieren können. Denken Sie daran, wie man einen Compiler erstellt: Der gesamte Fluss ist starr und vorhersehbar, aber einzelne Schritte können Heuristiken und probabilistische Optimierung verwenden.

4. Spezialisierte Modelle als modulare Komponenten

Die Zukunft ist nicht ein Modell, das sie alle beherrscht – es sind Hunderte oder Tausende spezialisierter Modelle, die in orchestrierten Workflows zusammenarbeiten. Sprachmodelle bleiben hervorragend bei linguistischen Aufgaben, sind jedoch schlecht in:

• Symbolischer Manipulation und exakter Berechnung
• Visuell-räumlichem Denken über grundlegendes Mustererkennen hinaus
• Temporalem Denken und Planung komplexer Sequenzen
• Intentionalem Agentenverhalten mit dauerhaften Zielen

Die Ingenieurherausforderung

Dies bringt uns zur zentralen Einsicht: Der Aufbau von AGI ist ein Problem verteilter Systeme, nicht ein Problem des maschinellen Lernens. Wir wurden in die Irre geführt zu denken, dass wir, weil datenzentrumsgroße Trainingscluster verteilte Systeme sind, bereits Systemtechnik betreiben. Nichts könnte weiter von der Wahrheit entfernt sein.

Die eigentliche Ingenieurherausforderung besteht darin,:

• Fehlertolerante Pipelines zu bauen, bei denen Komponentenfehler nicht zu Systemfehlern führen.
• Überwachungs- und Beobachtbarkeitssysteme zu entwickeln, die erkennen können, wenn Modelloutputs abdriften oder unzuverlässig werden.
• Bereitstellungssysteme zu schaffen, die rollierende Updates ermöglichen, ohne bestehende Integrationen zu brechen.
• Testframeworks zu entwickeln, die das Systemverhalten über Tausende von Modell- und Parameterkombinationen validieren können.

Was wir stattdessen aufbauen sollten

Während alle anderen sich darauf konzentrieren, das nächste Modell zu skalieren, sollten wir die Infrastruktur aufbauen, die allgemeine Intelligenz möglich macht. Hier ist mein Fahrplan:

PHASE 1: FUNDAMENTAL SCHICHT

• Kontextmanagementdienst: Persistente, abfragbare, versionierte Wissensgraphen mit Echtzeit-Updates
• Gedächtnisdienst: Episodische und semantische Gedächtnissysteme mit gelernten Konsolidierungsmustern
• Workflow-Engine: Deterministische Orchestrierung probabilistischer Komponenten mit Rückrollfähigkeiten
• Agenten-Koordinationsschicht: Multi-Agenten-Systeme mit verhandeltem Konsens und Konfliktlösung

PHASE 2: FÄHIGKEITSSCHICHT

• Spezialisierte Modellkontrollen: Feinabgestimmte Modelle für spezifische Denkdomänen mit standardisierten Schnittstellen
• Symbolischer Denkengine: Exakte Berechnungs- und symbolische Manipulationsfähigkeiten, die mit probabilistischen Komponenten arbeiten
• Planungs- und Zielmanagement: Systeme, die komplexe Ziele in ausführbare Teilpläne zerlegen können
• Cross-modale Integration: Systeme, die sensorische Eingaben (Text, Vision, Audio) in einheitliche Darstellungen kombinieren

PHASE 3: EMERGENZSCHICHT

Hier entsteht echte AGI – durch die Interaktion all dieser Komponenten, die zusammenarbeiten, nicht durch ein einzelnes bahnbrechendes Modell. Die Fähigkeiten des Systems werden die seiner einzelnen Teile durch emergente Eigenschaften übertreffen, die aus sorgfältigem architektonischem Design entstehen.

Der Weg nach vorne

Der Weg zur AGI führt nicht über das Training eines größeren Transformers – es geht darum, verteilte Systeme zu schaffen, die Hunderte spezialisierter Modelle orchestrieren, kohärente Kontexte über Sitzungen hinweg aufrechterhalten, deterministische Workflows um probabilistische Komponenten herum ausführen und einen fehlertoleranten Betrieb im Produktionsmaßstab bieten.

Dies ist grundsätzlich Ingenieurarbeit, die Jahrzehnte an Erfahrung im Aufbau zuverlässiger verteilter Systeme erfordert. Die Durchbrüche werden von Infrastruktur-Ingenieuren kommen, die verstehen, wie man Kontextpfade, Gedächtnissysteme, Workflow-Orchestrierung und Modellkoordination in großem Maßstab aufbaut.

Das Rennen um AGI wird nicht von dem Team gewonnen, das den größten GPU-Cluster hat – es wird von dem Team gewonnen, das versteht, wie man zuverlässige, ingenieurtechnische KI-Systeme aufbaut, die tatsächlich über Domänen hinweg argumentieren können, während sie ein konsistentes Verhalten aufrechterhalten.

Die Modelle, die wir jetzt haben, sind ausreichend. Das fehlende Stück ist die Systemtechnik, die sie in allgemeine Intelligenz verwandelt.

Wir haben die falsche Frage gestellt. Es geht nicht darum, wie wir den nächsten Modell-Durchbruch erreichen. Es geht darum, wie wir die Systemarchitektur aufbauen, die allgemeine Intelligenz mit den Modellen, die wir bereits haben, unvermeidlich macht. Die Antwort ist Systemtechnik. Die Zukunft der AGI ist architektonisch, nicht algorithmisch.

Quellenliste:

• Quelle: AGI IS AN ENGINEERING PROBLEM
• Memory-Based Agent Learning – The Path to Truly Autonomous AI
• Context Engineering – The Evolution Beyond Prompt Engineering