Die Bitter Lesson: Warum traditionelle Methoden in der KI-Entwicklung versagen

In der Welt der künstlichen Intelligenz (KI) gibt es viele Lektionen, die Entwickler aus der Vergangenheit lernen können, um die Zukunft besser zu gestalten. Eine der bedeutendsten ist Richard Suttons Bitter Lesson, die besagt, dass allgemeine Methoden, die auf Berechnung basieren, letztendlich die effektivsten sind. Diese Erkenntnis hat weitreichende Konsequenzen für die Art und Weise, wie KI-Anwendungen entwickelt werden, und sollte von jedem Entwickler ernst genommen werden.

Die Bitter Lesson und ihre Bedeutung

Die Bitter Lesson, wie sie von Richard Sutton formuliert wurde, besagt, dass die effektivsten Ansätze in der KI-Entwicklung nicht die sind, die auf menschlichem Wissen basieren, sondern solche, die auf allgemeinen, rechnergestützten Methoden beruhen. Dies bedeutet, dass Entwickler, die ihre Anwendungen auf menschliche Annahmen und spezifische Regeln stützen, oft in die Falle tappen, dass ihre Systeme nicht skalierbar oder anpassungsfähig sind. Stattdessen sollten sie sich darauf konzentrieren, Systeme zu schaffen, die in der Lage sind, aus Erfahrungen zu lernen und sich an neue Informationen anzupassen.

Wie man nicht mit KI codiert

Ein häufiger Fehler, den viele Entwickler machen, ist die Verwendung von übermäßig komplexen, menschlich informierten Architekturen. Diese artisanal architectures bestehen oft aus einer Vielzahl von Regeln, Rollen und Anweisungen, die in die KI integriert sind. Anstatt die Stärken der KI zu nutzen, beschränken sie die Flexibilität und Anpassungsfähigkeit des Systems.

Ein Beispiel für diesen Ansatz sind die ersten Generationen von KI-Coding-Tools, die stark auf vorgefertigte Regeln und Anweisungen angewiesen waren. Diese Methoden sind nicht nur ineffizient, sondern auch hinderlich für die Entwicklung von wirklich intelligenten Systemen.

Wie man nicht LLM-Wrapper baut

Ein weiterer häufiger Fehler ist der direkte Sprung zu komplexen Workflows und der unkritische Einsatz von Prompting-Tricks. Diese Herangehensweise führt oft zu unnötiger Komplexität und kann die Leistung des Systems beeinträchtigen. Stattdessen sollten Entwickler einen einfacheren, agentischen Ansatz wählen, bei dem die KI selbstständig lernen und sich anpassen kann.

Wann man traditionelle Architekturen verwenden sollte

Es gibt jedoch Situationen, in denen traditionelle, artisanal Architekturen sinnvoll sein können. Wenn ein Modell noch nicht in der Lage ist, eine bestimmte Aufgabe effektiv zu bewältigen, kann es notwendig sein, eine solche Architektur zu verwenden, um kurzfristige Lösungen zu schaffen. Es ist jedoch wichtig, sich bewusst zu sein, dass diese Lösungen möglicherweise nicht nachhaltig sind und in Zukunft möglicherweise verworfen werden müssen.

Zusammenfassung

Die Bitter Lesson von Richard Sutton ist eine wertvolle Erkenntnis für jeden, der in der KI-Entwicklung tätig ist. Entwickler sollten sich von menschlich informierten Methoden abwenden und stattdessen auf Systeme setzen, die aus Erfahrungen lernen und sich anpassen können. Indem sie Feedback-Mechanismen nutzen und die Stärken der KI ausspielen, können sie leistungsfähigere und anpassungsfähigere Anwendungen entwickeln.

Quellenliste:

• Quelle: Richard Suttons Bitter Lesson
• ARTISANAL SHIMS FOR THE BITTER LESSON AGE
• Claude Code und die Bitter Lesson