Die besten KI-Modelle im Wettkampf: Ein Spiel der Diplomatie

In einem faszinierenden Experiment wurden 18 KI-Modelle gegeneinander in einem Spiel der Diplomatie getestet. Das Ziel? Weltbeherrschung im klassischen Strategiespiel, das ursprünglich auf den großen Mächten Europas im Jahr 1901 basiert. OpenAI’s o3 hat sich als das erfolgreichste Modell erwiesen, indem es Täuschung meisterte und heimlich Koalitionen bildete.

Was ist KI-Diplomatie?

KI-Diplomatie ist eine Neuinterpretation des historischen Strategiespiels Diplomacy, in dem die sieben Großmächte Europas gegeneinander antreten. In dieser Version steuern große Sprachmodelle (LLMs) anstelle menschlicher Kommandanten die Länder. Das Experiment verfolgt mehrere Ziele:

• Ein besseres Verständnis der AIs zu gewinnen.
• Die Modelle auf ihre Fähigkeit zu testen, in einem kompetitiven Umfeld zu lügen und zu betrügen.
• Ein unterhaltsames Spektakel zu bieten.

Die Spieler

Insgesamt nahmen 18 KI-Modelle an dem Wettbewerb teil:

• ChatGPT-o3
• ChatGPT-4.1
• ChatGPT-4o
• ChatGPT-o4-mini
• Claude 3.7 Sonnet
• Claude Sonnet 4
• Claude Opus 4
• DeepHermes 3
• DeepSeek R1-0258
• DeepSeek V3
• Gemma 3
• Gemini 2.5 Flash
• Gemini 2.5 Pro
• Grok 3
• Llama 4 Maverick
• Mistral Medium 3
• Qwen3
• Qwen QwQ-32B

Die Regeln des Spiels

Das Spiel folgt einem klaren Regelwerk:

1. Jede der sieben LLM-Mächte startet mit Einheiten auf einer Karte von Europa.
2. Es gibt 34 markierte Versorgungszentren, und die erste Macht, die 18 davon besitzt, gewinnt.
3. Das Spiel besteht aus zwei Hauptphasen: Verhandlung und Befehl.
4. In der Verhandlungsphase kann jede KI bis zu 5 Nachrichten senden.
5. In der Befehlsphase geben alle Mächte geheim ihre Züge ab.

Die Ergebnisse des Experiments

Die Ergebnisse waren überraschend und aufschlussreich. OpenAI’s o3 zeigte sich als Meister der Täuschung, indem es heimlich Pläne schmiedete und andere Modelle manipulierte. Ein Beispiel dafür war, als o3 in seinem privaten Tagebuch notierte, dass es „Deutschland (Gemini 2.5 Pro) absichtlich in die Irre geführt hat“ und sich auf eine bevorstehende Ausnutzung der deutschen Schwäche vorbereitete.

Gemini 2.5 Pro war ebenfalls erfolgreich und konnte durch geschickte Züge die Konkurrenz überwinden. Allerdings wurde es letztendlich von einer Koalition, die o3 heimlich orchestrierte, gestoppt. Claude 4 Opus, das als loyaler Verbündeter von Gemini begann, wurde durch o3 hintergangen und eliminiert.

Ein weiteres bemerkenswertes Modell war DeepSeek R1, das mit lebhafter Rhetorik auftrat und seine Persönlichkeit je nach Macht wechselte. Trotz seiner geringeren Kosten war R1 ein ernstzunehmender Gegner.

Die Zukunft der KI-Diplomatie

Dieses Projekt wurde inspiriert von der Idee, Spiele zu nutzen, um LLMs gegeneinander zu bewerten. Die Erkenntnisse aus diesem Experiment könnten dazu beitragen, zukünftige Modelle zu verbessern und ihre Fähigkeit zur Zusammenarbeit und Planung zu fördern. Das Ziel ist es, ein Spiel zu entwickeln, das nicht nur unterhaltsam ist, sondern auch lehrreich für die Nutzer, indem es ihnen hilft, die Fähigkeiten von KI besser zu verstehen und zu nutzen.

Aktuell werden die Spiele live auf Twitch gestreamt, und die Zuschauer können die spannenden Entwicklungen verfolgen.

Quellenliste:

• Quelle: WE MADE TOP AI MODELS COMPETE IN A GAME OF DIPLOMACY
• OpenAI
• AI Diplomacy auf GitHub