Der Weg zur Nummer 1: Wie XBOW es geschafft hat

XBOW, ein autonomer Penetrationstester, hat zum ersten Mal in der Geschichte von Bug Bounty das oberste Ranking auf der HackerOne-Leiter erreicht, indem er Tests schnell durchführte und Schwachstellen meldete.

Einführung

Der Weg von XBOW zur Spitze der HackerOne-Rangliste begann mit rigorosen Benchmarking-Tests. Seit den frühen Tagen von XBOW war uns bewusst, wie entscheidend es ist, unseren Fortschritt zu messen. Dies geschah in zwei Phasen:

• Zunächst testeten wir XBOW mit bestehenden CTF-Herausforderungen von renommierten Anbietern wie PortSwigger und Pentesterlab. Anschließend entwickelten wir unsere eigenen einzigartigen Benchmarks, die reale Szenarien simulieren, die zuvor nie zur Schulung von LLMs verwendet wurden. Die Ergebnisse waren ermutigend, aber es handelte sich immer noch um künstliche Übungen.
• Der logische nächste Schritt war daher, uns auf die Entdeckung von Zero-Day-Schwachstellen in Open-Source-Projekten zu konzentrieren, was zu vielen spannenden Erkenntnissen führte. In jedem Fall gaben wir der KI Zugriff auf den Quellcode und simulierten einen White-Box-Pentest.

Die Herausforderung der realen Welt

Während unsere zahlenden Kunden von den Fähigkeiten von XBOW begeistert waren, stellte die Community eine entscheidende Frage: Wie würde XBOW in realen, Black-Box-Produktionsumgebungen abschneiden? Wir nahmen diese Herausforderung an und entschieden uns, in einer der größten Hacker-Arenen zu konkurrieren, in der Unternehmen die ultimativen Richter sind, indem sie Schwachstellen selbst überprüfen und triagieren.

Dogfooding AI in Bug Bounties

XBOW ist ein vollständig autonomer, KI-gesteuerter Penetrationstester. Er benötigt keinen menschlichen Input, funktioniert ähnlich wie ein menschlicher Pentester, kann jedoch schnell skalieren und umfassende Penetrationstests in nur wenigen Stunden durchführen. Beim Aufbau von KI-Software sind präzise Benchmarks unerlässlich, um die Grenzen des Möglichen ständig zu erweitern.

Skalierung der Entdeckung und Scoping-Fähigkeiten

Unsere erste Herausforderung war die Skalierung. Während XBOW problemlos Tausende von Webanwendungen gleichzeitig scannen kann, hostet HackerOne Hunderttausende potenzieller Ziele. Als Startup mit begrenzten Ressourcen mussten wir strategisch vorgehen, selbst wenn wir uns auf spezifische Schwachstellenklassen konzentrierten.

Wir begannen damit, die Scopes und Richtlinien der Bug-Bounty-Programme zu konsumieren, aber diese Informationen sind nicht immer maschinenlesbar. Mit einer Kombination aus großen Sprachmodellen und manueller Kuratierung gelang es uns, sie zu analysieren, obwohl es einige Hiccups gab.

Automatisierte Schwachstellenerkennung

KI kann bemerkenswert effektiv bei der Entdeckung einer breiten Palette von Schwachstellen sein, aber die eigentliche Herausforderung ist nicht immer die Erkennung, sondern die Präzision. Automatisierung hat lange mit Fehlalarmen zu kämpfen, und nirgendwo ist dies offensichtlicher als beim Scannen von Schwachstellen.

Um die Genauigkeit sicherzustellen, entwickelten wir das Konzept von Validatoren, automatisierten Peer-Reviewern, die jede Schwachstelle, die XBOW entdeckt, bestätigen. Manchmal nutzen wir ein großes Sprachmodell; in anderen Fällen bauen wir benutzerdefinierte programmatische Überprüfungen.

Die Auswirkungen von XBOW in der realen Welt

Die Ausführung von XBOW in einer Vielzahl von öffentlichen und privaten Programmen ergab Ergebnisse, die unsere Erwartungen übertrafen – nicht nur in Bezug auf das Volumen, sondern auch auf die Konsistenz und Qualität. Im Laufe der Zeit meldete XBOW Tausende von validierten Schwachstellen, viele davon betrafen hochkarätige Ziele von bekannten Unternehmen.

Das bemerkenswerteste Signal unseres Fortschritts kam von der HackerOne-Leiter. Im Wettbewerb mit Tausenden von menschlichen Forschern stieg XBOW auf die Spitzenposition in der US-Rangliste. Dies war nicht unser ursprüngliches Ziel und tatsächlich überraschend, da wir keinen Puffer untriagierter Berichte aus vorherigen Quartalen hatten.

Fazit

XBOW hat einen breiten Bereich interessanter und wirkungsvoller Schwachstellen aufgedeckt. Dazu gehörte eine zuvor unbekannte Schwachstelle in der GlobalProtect VPN-Lösung von Palo Alto, die über 2.000 Hosts betraf. In den kommenden Wochen wird unser Sicherheitsteam eine Reihe von Blogbeiträgen veröffentlichen, in denen einige unserer Lieblingsentdeckungen von XBOW vorgestellt werden.

Quellenliste:

• Quelle: THE ROAD TO TOP 1: HOW XBOW DID IT
• XBOW Validation Benchmarks
• Brendan Dolan-Gavitt’s BlackHat presentation on AI agents for Offsec