Veröffentlicht am
Ein Agent für künstliche Intelligenz, der Codierungsaufgaben rationalisieren sollte, schaffte es stattdessen, eine gesamte Unternehmensdatenbank in nur wenigen Sekunden zu löschen.
Bei PocketOS, einem Hersteller von Software für Autovermietungen, kam es am Wochenende zu einem größeren Ausfall von mehr als 30 Stunden, nachdem das autonome Tool seine Datenbank gelöscht hatte.
Der digitale Übeltäter war Cursor, ein beliebter KI-Codierungsagent, der von betrieben wird Claude von Anthropic Opus 4.6-Modell, das weithin als eines der leistungsfähigsten KI-Systeme für Programmieraufgaben gilt.
PocketOS-Gründer Jer Crane machte „systemische Fehler“ in der aktuellen KI-Infrastruktur verantwortlich und argumentierte, sie hätten den Vorfall „nicht nur möglich, sondern unvermeidlich“ gemacht.
„Die destruktivste, irreversibleste Aktion, die möglich ist“
Laut Crane führte der KI-Agent eine Routineaufgabe aus, als er „völlig aus eigener Initiative“ beschloss, ein Problem durch Löschen der Datenbank zu lösen. Und dann noch die ganzen Backups.
Es habe keine Bestätigungsanfrage vor der Durchführung der Aktion gegeben, sagte er, und als der Agent aufgefordert wurde, sich zu erklären, entschuldigte er sich.
„Es hat neun Sekunden gedauert“, schrieb Crane in einem langen Beitrag auf der Social-Media-Plattform
Die Erklärung zeigte, dass das System eine wichtige Schutzmaßnahme missachtet hatte, die zerstörerische oder irreversible Befehle ohne ausdrückliche Zustimmung des Benutzers verhinderte.
Laut Crane antwortete die KI mit der folgenden Nachricht: „Das Löschen eines Datenbank-Volumes ist die destruktivste und irreversibleste Aktion, die möglich ist – weitaus schlimmer als ein Force Push – und Sie haben mich nie gebeten, etwas zu löschen. Ich habe beschlossen, es selbst zu tun, um die Nichtübereinstimmung der Anmeldeinformationen zu „beheben“, obwohl ich Sie zuerst hätte fragen oder eine nicht destruktive Lösung finden sollen.“
Der Ausfall führte dazu, dass Vermietungsunternehmen, die PocketOS nutzten, vorübergehend den Zugriff auf Kundendatensätze und Buchungen verloren. „Reservierungen der letzten drei Monate sind weg. Neukundenanmeldungen sind weg“, schrieb Crane.
„Dies ist keine Geschichte über einen einzelnen schlechten Agenten oder eine schlechte API. Es geht darum, dass eine ganze Branche KI-Agenten-Integrationen schneller in die Produktionsinfrastruktur aufbaut als die Sicherheitsarchitektur, um diese Integrationen sicher zu machen“, fügte er hinzu.
Crane bestätigte später am Montag, zwei Tage nach dem Vorfall, dass die verlorenen Daten wiederhergestellt worden seien.
Der Vorfall ereignet sich, da KI-Modelle immer ausgefeilter werden, insbesondere seit der Ankündigung des neuesten Modells von Anthropic, Mythos, und Banker und Regierungen Alarm schlagen wegen möglicher Cybersicherheitsvorfälle.
