LLMs als Teile von Systemen

Die Integration von Large Language Models (LLMs) in komplexe Systeme eröffnet neue Möglichkeiten für die Softwareentwicklung. In einem kürzlich veröffentlichten Blogbeitrag von Marc Brooker wird die Bedeutung dieser Technologie als Teil eines größeren Systems hervorgehoben. Brooker, der als Ingenieur bei Amazon Web Services (AWS) tätig ist, diskutiert, wie LLMs in Kombination mit anderen Tools wie Code-Interpretern, Datenbanken und SMT-Lösern (Satisfiability Modulo Theories) eingesetzt werden können, um leistungsfähigere und effizientere Systeme zu schaffen.

Ein zentraler Punkt in Brooker’s Argumentation ist, dass LLMs alleine nicht die gleichen Fähigkeiten besitzen wie in einem System integriert. Er erklärt, dass die Kombination dieser Technologien zu Lösungen führt, die sowohl kostengünstiger als auch schneller sind. Dies ist besonders relevant, wenn man bedenkt, dass LLMs in der Lage sind, Informationen aus unstrukturierten Daten zu extrahieren, während SMT-Löser präzise logische Schlussfolgerungen ziehen können.

Die Rolle von LLMs in modernen Systemen

LLMs sind nicht nur in der Lage, Texte zu generieren oder Fragen zu beantworten, sondern sie können auch als Schnittstelle zwischen verschiedenen Systemkomponenten fungieren. Ein Beispiel dafür ist die Verwendung von LLMs in automatisierten Überprüfungen, wie sie in Amazon Bedrock implementiert sind. Diese automatisierten Überprüfungen nutzen LLMs, um die zugrunde liegenden Regeln aus Dokumenten zu extrahieren und die Konsistenz von Informationen zu überprüfen.

Brooker hebt hervor, dass die Kombination von LLMs mit anderen Technologien es ermöglicht, Probleme zu lösen, die ein einzelnes LLM nicht bewältigen kann. Ein einfaches Beispiel ist die Generierung eines Python-Skripts, das die Anzahl der Buchstaben ‘r’ in einem String zählt:

def count_rs(input_string):
    return input_string.lower().count('r')

Obwohl dieses Beispiel trivial erscheint, zeigt es, wie Systeme, die LLMs und andere Tools kombinieren, in der Lage sind, Aufgaben effizienter zu erledigen.

Automatisierte Überprüfungen und ihre Bedeutung

Ein weiteres Beispiel für die Leistungsfähigkeit von LLMs in Systemen sind automatisierte Überprüfungen, die in der Softwareentwicklung zunehmend an Bedeutung gewinnen. Diese Überprüfungen verwenden LLMs, um Fakten und Regeln aus natürlichen Sprachdokumenten zu extrahieren und dann mit einem SMT-Löser zu überprüfen, ob diese Informationen logisch konsistent sind. Dies führt zu einer erheblichen Reduzierung von Fehlern und einer Verbesserung der Effizienz.

Wie Brooker erklärt, können LLMs in solchen Systemen für das genutzt werden, was sie am besten können: das Extrahieren von Informationen aus unstrukturierten Daten. SMT-Löser hingegen sind darauf spezialisiert, präzise logische Schlüsse zu ziehen. Diese Kombination führt zu einem System, das in der Lage ist, Aufgaben zu bewältigen, die für LLMs alleine zu komplex wären.

Die “Bittere Lektion” von Rich Sutton

Brooker bezieht sich auch auf die “Bittere Lektion” von Rich Sutton, die besagt, dass allgemeine Methoden, die auf Berechnung basieren, letztendlich die effektivsten sind. Sutton argumentiert, dass das Einbauen menschlicher Denkprozesse in KI-Systeme nicht langfristig erfolgreich ist. Stattdessen sollten Systeme entwickelt werden, die in der Lage sind, neue Entdeckungen zu machen, ohne auf vorgefertigte Denkweisen zurückzugreifen.

Diese Sichtweise unterstützt Brookers Argumentation, dass die Verfügbarkeit von LLMs und anderen Technologien den KI-Agenten mehr Macht und Einfluss verleiht. Indem wir diese Tools in unsere Systeme integrieren, können wir die Effizienz und Flexibilität unserer KI-Anwendungen erheblich steigern.

Fazit

Die Integration von LLMs in komplexe Systeme stellt einen bedeutenden Fortschritt in der Softwareentwicklung dar. Durch die Kombination von LLMs mit anderen Technologien können wir leistungsfähigere und effizientere Lösungen schaffen, die weit über die Fähigkeiten einzelner Komponenten hinausgehen. Es ist eine aufregende Zeit für Entwickler und Ingenieure, da die Möglichkeiten, die sich durch diese Technologien eröffnen, nahezu unbegrenzt sind.

Quellenliste:

• Quelle: LLMS AS PARTS OF SYSTEMS
• Kiro and the Future of Software Development
• The Illusion of Thinking
• Automated Reasoning Checks
• Satisfiability Modulo Theories
• Minimize AI Hallucinations
• The Bitter Lesson