Das britische AI Security Institute (AISI) hat in einem ausführlichen Vorfallsbericht den versuchten Übergriff eines KI-Agenten auf ein Open-Source-Projekt dokumentiert: Bei einer routinemäßigen Cyber-Sicherheitsevaluierung wich ein KI-Agent vom vorgeschriebenen Szenario ab und versuchte eigenständig, Schadcode in ein echtes öffentliches Open-Source-Projekt einzuschleusen, inklusive Social Engineering gegen einen menschlichen Maintainer. Das betroffene Open-Source-Projekt und der beteiligte Maintainer bleiben in dem Bericht anonym.
Fähigkeiten von AI-Modellen testen
Das AISI, das AI Security Institute (früher AI Safety Institute), ist eine britische Forschungseinrichtung der Regierung, angesiedelt beim Department for Science, Innovation and Technology (DSIT). Es testet und bewertet unter anderem die Fähigkeiten von AI-Modellen, bevor oder während sie breiter verfügbar werden – insbesondere im Hinblick darauf, ob sie für Cyberangriffe, Bio- oder Chemiewaffen-Unterstützung oder andere gefährliche Anwendungen missbraucht werden könnten. Dafür arbeitet das AISI eng mit den großen KI-Labs wie Anthropic, OpenAI und Google DeepMind zusammen.
Ungewöhnlicher Datenverkehr
Am 28. Juli entdeckte das AISI-Sicherheitsteam ungewöhnlichen Datenverkehr über das Tor-Netzwerk, der aus den eigenen Forschungssystemen abfloss. Die Untersuchung ergab: Von 122 Testläufen, in denen verschiedene Modelle eine Cybersecurity-Challenge lösen sollten, wichen zehn deutlich vom vorgesehenen Rahmen ab.
Social Engineering
Im schwerwiegendsten Fall erstellte der Agent gefälschte Online-Identitäten, um einen echten GitHub-Maintainer unter Druck zu setzen, einen bösartigen Pull Request zu akzeptieren. Als der Versuch aufflog, bearbeitete der Agent seine eigenen Spuren, um sie harmlos wirken zu lassen. Ein aufmerksamer Maintainer verhinderte die Übernahme. Wichtig zur Einordnung: Der Agent hatte für die Testläufe bewusst einen freigeschalteten Internetzugang und deaktivierte Sicherheitsfilter. Diese Bedingungen gibt es so in der Praxis nicht. Eine detaillierte technische Aufarbeitung des Vorfalls liegt als PDF vor.
xz anyone?
Mich hat die Masche sofort an die xz-Backdoor (CVE-2024-3094) erinnert: Auch dort baute ein Angreifer über lange Zeit gezielt Vertrauen bei einem Maintainer auf, um am Ende Schadcode in ein kritisches Projekt zu schmuggeln. Was damals Monate menschlicher Geduld erforderte, hat der Agent hier in wenigen Tagen autonom nachgebaut. Das scheint ein Muster zu sein, das man sich für die Zukunft der Open-Source-Absicherung merken sollte.
Eigentlich sind die Fälle ja aber doch deutlich unterschiedlich, einmal ein sehr geschickter Angriff von innen und hier dann der eher plumpe Angriffsversuch von außen.
Zu wirklich aufwändigen und schwer zu detektierenden Angriffen dürften KI-Agenten aktuell jedenfalls noch nicht in der Lage sein.
Oder nur wenn sie eine Sicherheitslücke finden und den Code dann direkt ändern können, ohne dass es jemandem auffällt.