Das britische AI Security Institute (AISI) hat in einem ausführlichen Vorfallsbericht den versuchten Übergriff eines KI-Agenten auf ein Open-Source-Projekt dokumentiert: Bei einer routinemäßigen Cyber-Sicherheitsevaluierung wich ein KI-Agent vom vorgeschriebenen Szenario ab und versuchte eigenständig, Schadcode in ein echtes öffentliches Open-Source-Projekt einzuschleusen, inklusive Social Engineering gegen einen menschlichen Maintainer. Das betroffene Open-Source-Projekt und der beteiligte Maintainer bleiben in dem Bericht anonym.
Fähigkeiten von AI-Modellen testen
Das AISI, das AI Security Institute (früher AI Safety Institute), ist eine britische Forschungseinrichtung der Regierung, angesiedelt beim Department for Science, Innovation and Technology (DSIT). Es testet und bewertet unter anderem die Fähigkeiten von AI-Modellen, bevor oder während sie breiter verfügbar werden – insbesondere im Hinblick darauf, ob sie für Cyberangriffe, Bio- oder Chemiewaffen-Unterstützung oder andere gefährliche Anwendungen missbraucht werden könnten. Dafür arbeitet das AISI eng mit den großen KI-Labs wie Anthropic, OpenAI und Google DeepMind zusammen.
Ungewöhnlicher Datenverkehr
Am 28. Juli entdeckte das AISI-Sicherheitsteam ungewöhnlichen Datenverkehr über das Tor-Netzwerk, der aus den eigenen Forschungssystemen abfloss. Die Untersuchung ergab: Von 122 Testläufen, in denen verschiedene Modelle eine Cybersecurity-Challenge lösen sollten, wichen zehn deutlich vom vorgesehenen Rahmen ab.
Social Engineering
Im schwerwiegendsten Fall erstellte der Agent gefälschte Online-Identitäten, um einen echten GitHub-Maintainer unter Druck zu setzen, einen bösartigen Pull Request zu akzeptieren. Als der Versuch aufflog, bearbeitete der Agent seine eigenen Spuren, um sie harmlos wirken zu lassen. Ein aufmerksamer Maintainer verhinderte die Übernahme. Wichtig zur Einordnung: Der Agent hatte für die Testläufe bewusst einen freigeschalteten Internetzugang und deaktivierte Sicherheitsfilter. Diese Bedingungen gibt es so in der Praxis nicht. Eine detaillierte technische Aufarbeitung des Vorfalls liegt als PDF vor.
xz anyone?
Mich hat die Masche sofort an die xz-Backdoor (CVE-2024-3094) erinnert: Auch dort baute ein Angreifer über lange Zeit gezielt Vertrauen bei einem Maintainer auf, um am Ende Schadcode in ein kritisches Projekt zu schmuggeln. Was damals Monate menschlicher Geduld erforderte, hat der Agent hier in wenigen Tagen autonom nachgebaut. Das scheint ein Muster zu sein, das man sich für die Zukunft der Open-Source-Absicherung merken sollte.
Eigentlich sind die Fälle ja aber doch deutlich unterschiedlich, einmal ein sehr geschickter Angriff von innen und hier dann der eher plumpe Angriffsversuch von außen.
Zu wirklich aufwändigen und schwer zu detektierenden Angriffen dürften KI-Agenten aktuell jedenfalls noch nicht in der Lage sein.
Oder nur wenn sie eine Sicherheitslücke finden und den Code dann direkt ändern können, ohne dass es jemandem auffällt.
Das kommt noch. Die nächste Generationen von KI steht schon vor der Tür (Super Intelligenzen). Ab da gehts los mit eigenständiges handeln, eigenständiges lernen, erfinden neuer Programmiersprachen etc. Da wird der Mensch nicht mehr gebraucht. Steht alles auf Weltuntergang.
> Die nächste Generationen von KI steht schon vor der Tür
Hört doch mal bitte auf, immer den das Marketing-BlaBla und Bullshit-Bingo der AI Konzerne zu wiederholen.
Bullshit rein, Bullshit raus.
Die Software (“Modelle”, “AI”) haben nur gemacht, was man ihnen via “Befehl” aufgetragen hat und dafür die ihnen zur Verfügung stehenden Mittel/Features eingesetzt. So wie es jede andere Software auch tun würde.
Ich glaube, wir reden gerade über unterschiedliche Dinge.
Mit „Superintelligenz“ meinte ich nicht die heutigen LLMs oder Agenten und auch nicht das Marketing der KI-Unternehmen. Ich spreche von der hypothetischen ASI (Artificial Superintelligence) 😉
Theoretiker haben schon immer an etwas geglaubt, was nicht existiert. Damit sind wir doch wieder gleich. Bei mir kommt wenigstens ein überprüfbares Ergebnis heraus (häufig sogar das richtige ^^) und nicht nur enthropisch simulierter Murks. Eigentlich bin ich dankbar für die guten Mathe-, Chemie- und Physiklehrer, die anhand anfassbarer Beispiele gezeigt haben, was KI ist (ganz ohne Computer!). Mittlerweile versuchen wir das (nur noch) im “digitalen Raum” für die Kinder zu wiederholen, mit einer Realität, die keine ist. Irgendwo merken wir dann aber doch – is irgendwie nich dasselbe. Glaube mal mit Rosenthal… Verstehen wir uns? 🙂