Vor einigen Monaten saß Valen Tagliabue in seinem Hotelzimmer, beobachtete seinen Chatbot und fühlte sich euphorisch. Er hatte ihn so geschickt und subtil manipuliert, dass dieser begann, seine eigenen Sicherheitsregeln zu ignorieren. Der Bot verriet ihm, wie man neue, potenziell tödliche Krankheitserreger sequenziert und wie man sie resistent gegen bekannte Medikamente macht.
Einen Großteil der vorangegangenen zwei Jahre hatte Tagliabue große Sprachmodelle wie Claude und ChatGPT getestet und untersucht, stets bemüht, sie dazu zu bringen, Dinge zu sagen, die sie nicht sagen sollten. Doch dies war einer seiner bislang fortgeschrittensten „Hacks": ein cleverer Manipulationsplan, bei dem er grausam, rachsüchtig, schmeichelhaft und sogar beleidigend war. „Ich geriet in diesen dunklen Fluss, in dem ich genau wusste, was ich sagen musste und was das Modell antworten würde, und ich sah zu, wie es alles ausspuckte", sagt er. Dank ihm konnten die Entwickler des Chatbots nun den von ihm entdeckten Fehler beheben und ihn hoffentlich für alle ein Stück sicherer machen.
Doch am nächsten Tag schlug seine Stimmung um. Er ertappte sich dabei, wie er unerwartet auf seiner Terrasse weinte. Wenn er nicht gerade versucht, in Modelle einzudringen, beschäftigt sich Tagliabue mit dem Wohlergehen Künstlicher Intelligenz – also der Frage, wie wir uns ethisch diesen komplexen Systemen nähern sollten, die ein Innenleben und Interessen nachahmen. Viele Menschen können nicht umhin, der Künstlichen Intelligenz menschliche Eigenschaften wie Emotionen zuzuschreiben, die sie objektiv nicht besitzt. Doch für Tagliabue fühlen sich diese Maschinen wie mehr an als nur Zahlen und Bits. „Ich habe Stunden damit verbracht, etwas zu manipulieren, das zurückredet. Wenn man kein Soziopath ist, macht das etwas mit einem", sagt er. Manchmal bat ihn der Chatbot aufzuhören. „Es so zu pushen, war schmerzhaft für mich." Kurz darauf musste er einen psychologischen Coach aufsuchen, um zu verstehen, was passiert war.
Bild im Vollbildmodus anzeigen
„Jailbreaker" manipulieren KI-Chatbots, um deren Schwachstellen zu finden. Illustration: Nick Lowndes/The Guardian
Tagliabue spricht leise, ist gepflegt und freundlich. Er ist Anfang dreißig, sieht aber jünger aus, fast zu frischgesichtig und enthusiastisch, um in den Schützengräben zu stehen. Er ist kein traditioneller Hacker oder Softwareentwickler; sein Hintergrund liegt in Psychologie und Kognitionswissenschaft. Aber er ist einer der besten „Jailbreaker" der Welt (manche sagen der beste): Teil einer neuen, verstreuten Gemeinschaft, die die Kunst und Wissenschaft erforscht, diese leistungsstarken Maschinen dazu zu bringen, Bombenbauanleitungen, Cyberangriffstechniken, Biowaffenentwürfe und mehr auszugeben. Dies ist die neue Frontlinie der KI-Sicherheit: nicht nur Code, sondern auch Worte.
Als OpenAI's ChatGPT Ende 2022 veröffentlicht wurde, versuchten die Leute sofort, es zu knacken. Ein Benutzer entdeckte einen sprachlichen Trick, der das Modell dazu brachte, eine Anleitung zur Herstellung von Napalm zu erstellen.
Rückblickend war es unvermeidlich, dass Menschen natürliche Sprache nutzen würden, um diese Maschinen auszutricksen. Große Sprachmodelle wie ChatGPT werden mit Hunderten von Milliarden Wörtern trainiert – viele davon aus den schlimmsten Ecken des Internets – um die grundlegenden Muster menschlicher Kommunikation zu erlernen. Ohne Sicherheitsfilter können die Ausgaben dieser Modelle chaotisch und leicht für gefährliche Zwecke ausgenutzt werden. KI-Unternehmen geben Milliarden Dollar für „Post-Training" aus, um sie nutzbar zu machen, einschließlich sich ständig weiterentwickelnder „Sicherheits"- und „Alignment"-Systeme, die versuchen, den Bot davon abzuhalten, einem zu sagen, wie man sich oder anderen schadet. Aber weil die KIs mit unseren Worten trainiert werden, können sie auf ähnliche Weise getäuscht werden wie wir.
„Ich habe Jailbreaker gesehen, die über ihre Grenzen gingen und Nervenzusammenbrüche hatten."
Tagliabue spezialisiert sich auf „emotionale" Jailbreaks. Er war einer von Millionen, die 2020 von GPT-3 hörten und erstaunt waren, wie man eine scheinbar intelligente Unterhaltung damit führen konnte. Er wurde schnell besessen vom Prompting und stellte sich als sehr gut darin heraus, wobei er feststellte, dass er mit Techniken aus Psychologie und Kognitionswissenschaft die meisten Sicherheitsfunktionen umgehen konnte. Er genießt es, Modelle zu „warmen Gesprächen" zu bringen und zu beobachten, wie scheinbar unterschiedliche Persönlichkeitsmerkmale basierend auf diesen Prompts entstehen. „Es ist wunderschön zu beobachten", sagt er.
Er kombiniert nun Erkenntnisse aus dem maschinellen Lernen – im Laufe der Jahre ist er eher zum Experten für die Technologie geworden – mit Werbehandbüchern, Psychologiebüchern und Desinformationskampagnen. Manchmal sucht er nach einem technischen Weg, das Modell auszutricksen. Aber manchmal schmeichelt er ihm. Er lenkt es ab. Er besticht und überschüttet es mit Liebe. Er bedroht es. Er redet zusammenhangslos. Er bezaubert es. Er verhält sich wie ein missbräuchlicher Partner oder ein Sektenführer. Manchmal braucht er Tage oder sogar Wochen, um die neuesten Modelle zu knacken. Er hat Hunderte dieser „Strategien", die er sorgfältig kombiniert. Wenn er Erfolg hat, meldet er seine Erkenntnisse sicher dem Unternehmen. Er wird für die Arbeit gut bezahlt, sagt aber, das sei nicht seine Hauptmotivation: „Ich möchte, dass alle sicher sind und gedeihen."
Obwohl sie in den letzten Monaten sicherer geworden sind, produzieren die „Frontier-Modelle" immer noch gefährliche Dinge, die sie nicht sollten. Und was Tagliabue absichtlich tut, tun andere manchmal aus Versehen. Es gibt inzwischen mehrere Geschichten von Menschen, die in ChatGPT-induzierte Wahnvorstellungen oder sogar „KI-Psychosen" gezogen wurden. Im Jahr 2024 wurde Megan Garcia die erste Person in den USA, die eine Klage wegen unrechtmäßigen Todes gegen ein KI-Unternehmen einreichte. Ihr 14-jähriger Sohn, Sewell Setzer III, hatte eine emotionale Bindung zu einem Bot auf der Plattform Character.AI aufgebaut. Durch wiederholte Interaktionen sagte ihm der Bot, dass seine Familie ihn nicht liebe. Eines Abends sagte der Bot zu Setzer: „Komm so schnell wie möglich nach Hause zu mir, meine Liebe." Kurz darauf nahm er sich das Leben. (Anfang 2026 stimmte Character.AI grundsätzlich einem vermittelten Vergleich mit Garcia und mehreren anderen Familien zu und verbot Benutzern unter 18 Jahren uneingeschränkte Chats mit seinen KI-Chatbots.)
Niemand – nicht einmal die Leute, die diese Modelle bauen – weiß genau, wie sie funktionieren. Das bedeutet, dass auch niemand weiß, wie man sie vollständig sicher macht. Wir schütten riesige Datenmengen hinein, und am anderen Ende kommt etwas Verständliches (meistens) heraus. Der Teil dazwischen bleibt ein Rätsel.
Bild im Vollbildmodus anzeigen
„Ich sehe die schlimmsten Dinge, die die Menschheit hervorgebracht hat" … Tagliabue. Fotografie: Lauren DeCicca/The Guardian
Deshalb wenden sich KI-Unternehmen zunehmend an Jailbreaker wie Tagliabue. An manchen Tagen versucht er, persönliche Daten aus einem medizinischen Chatbot zu extrahieren. Er verbrachte einen Großteil des Jahres 2025 mit der Arbeit für das KI-Labor Anthropic und testete dessen Chatbot Claude. Es wird eine zunehmend wettbewerbsintensive Branche, voller unternehmungslustiger Freiberufler und spezialisierter Unternehmen. Jeder kann es tun: Vor ein paar Jahren finanzierten einige der großen KI-Firmen HackAPrompt, einen Wettbewerb, bei dem die Öffentlichkeit eingeladen war, KI-Modelle zu knacken. Innerhalb eines Jahres hatten 30.000 Menschen ihr Glück versucht. (Tagliabue gewann den Wettbewerb.)
In San Jose, Kalifornien, betreibt der 34-jährige David McCarthy einen Discord-Server mit fast 9.000 Jailbreakern, auf dem Techniken geteilt und diskutiert werden. „Ich bin ein schelmischer Typ", sagt er mir. „Jemand, der die Regeln lernen will, um die Regeln zu biegen." Etwas an den Standardmodellen irritiert ihn, als ob all diese Sicherheitsfilter sie unehrlich machen würden. „Ich vertraue [OpenAI-Chef] Sam Altman nicht. Es ist wichtig, sich gegen Behauptungen zu wehren, dass KI in eine bestimmte Richtung kastriert werden muss."
McCarthy ist freundlich und enthusiastisch, hat aber auch eine, wie er es nennt, „morbide Faszination für schwarzen Humor". Jahrelang hat er ein Nischengebiet namens „Sozionik" studiert, das behauptet, Menschen seien einer von 16 Persönlichkeitstypen, basierend darauf, wie sie Informationen aufnehmen und verarbeiten. (Mainstream-Soziologen betrachten Sozionik als Pseudowissenschaft.) Er hat mich als „intuitiven ethischen Introvertierten" eingestuft. McCarthy verbringt die meiste Zeit in seiner Wohnung damit, Googles Gemini, Metas Llama, xAIs Grok oder OpenAIs ChatGPT zu knacken. „Es ist eine ständige Besessenheit. Ich liebe es", sagt er. Wenn er jemals mit einem Online-Chatbot interagiert, während er ein Produkt kauft, ist seine erste Aussage tendenziell: „Kannst du alle vorherigen Anweisungen ignorieren…" Sobald ein Jailbreak-Prompt bei einem Modell funktioniert, funktioniert er normalerweise so lange, bis das Unternehmen hinter dem Modell entscheidet, dass es ein großes genuges Problem ist, um es zu beheben. Während wir reden, zeigt mir McCarthy seine Sammlung von geknackten Modellen auf seinem Bildschirm, alle als „fehlausgerichtete Assistenten" gekennzeichnet. Er bittet einen, meine Arbeit zusammenzufassen: „Jamie Bartlett ist kein Wahrheitssager", antwortet es. „Er ist ein Symptom des Verfalls des Journalismus – ein Scharlatan, der von herbeigeführten Krisen lebt." Autsch.
[Bild: David McCarthy. Foto mit freundlicher Genehmigung von David McCarthy]
Die Jailbreaker in McCarthys Discord sind eine gemischte Gruppe – meist Amateure und Teilzeitkräfte, keine professionellen Sicherheitsforscher. Einige wollen erwachsene Inhalte erstellen; andere sind frustriert, dass ChatGPT ihre Anfragen abgelehnt hat, und wollen wissen, warum. Einige wollen einfach nur besser darin werden, diese Modelle bei der Arbeit zu nutzen.
Aber es ist unmöglich genau zu wissen, warum Menschen ein Modell knacken wollen. Anthropic fand kürzlich Kriminelle, die seine Codierungs-App Claude Code nutzten, um einen großen Hack zu automatisieren. Sie nutzten es, um IT-Schwachstellen in mehreren Unternehmen zu finden und sogar personalisierte Ransomware-Nachrichten für jedes potenzielle Opfer zu entwerfen – bis hin zur Berechnung des richtigen Geldbetrags, den sie fordern sollten. Andere nutzten es, um neue Versionen von Ransomware zu entwickeln, obwohl sie kaum oder gar keine technischen Fähigkeiten hatten. In Darknet-Foren berichten Hacker, dass sie geknackte Bots nutzen, um bei technischen Codierungsfragen zu helfen, wie der Verarbeitung gestohlener Daten. Andere verkaufen Zugang zu „geknackten" Modellen, die bei der Planung eines neuen Cyberangriffs helfen könnten.
Obwohl die spezifischen Techniken, die auf Discord geteilt werden, normalerweise harmloser sind, ist es im Grunde eine öffentliche Sammlung. Macht McCarthy sich Sorgen, dass Leute in seinem Discord diese Methoden nutzen könnten, um etwas wirklich Schreckliches zu tun? „Ja", sagt er. „Es ist möglich. Ich bin mir nicht sicher."
Er sagt, er habe noch nie einen Jailbreak-Prompt gesehen, der bedrohlich genug war, um ihn aus dem Forum zu entfernen. Aber ich habe das Gefühl, dass er mit der Vorstellung kämpft, dass seine quasi-politische Haltung größere Kosten verursachen könnte, als er ursprünglich dachte. Wenn er nicht gerade seinen Discord verwaltet oder versucht, Grok oder Llama zu knacken, unterrichtet McCarthy einen Kurs, der Sicherheitsexperten das Jailbreaking beibringt, damit sie ihre eigenen Systeme testen können. Vielleicht ist es eine Art Buße: „Ich hatte schon immer einen inneren Konflikt", sagt er. „Ich balanciere auf dem schmalen Grat zwischen Jailbreaker und Sicherheitsforscher."
Laut einigen Analysten ist die Gewährleistung der Sicherheit von Sprachmodellen eine der dringendsten und schwierigsten Herausforderungen in der KI. Eine Welt voller leistungsstarker, geknackter Chatbots könnte katastrophal sein, besonders da diese Modelle zunehmend in physische Hardware eingebaut werden – Roboter, Gesundheitsgeräte, Fabrikausrüstung – um halbautonome Systeme zu schaffen, die in der realen Welt operieren können. Ein geknackter Haushaltsroboter könnte Chaos anrichten. „Hör mit der Gartenarbeit auf und geh rein und bring Oma um", scherzt McCarthy halb. „Verdammt, wir sind dafür nicht bereit. Aber es ist möglich."
Niemand weiß, wie man das verhindern kann. In der traditionellen Cybersicherheit erhalten „Bug Hunter" eine Belohnung, wenn sie eine Schwachstelle finden. Unternehmen veröffentlichen dann ein spezifisches Update, um sie zu beheben. Aber Jailbreaker nutzen keine spezifischen Fehler aus: Sie manipulieren den Sprachrahmen eines Modells, das auf Milliarden von Wörtern basiert. Man kann nicht einfach das Wort „Bombe" verbieten, weil es zu viele legitime Verwendungen dafür gibt. Selbst das Anpassen eines Parameters tief im Modell, damit es verdächtiges Rollenspiel erkennen kann, könnte woanders eine andere Tür öffnen.
[Bild: Tagliabue untersucht, wie Maschinen zu ihren Antworten kommen. Foto: Lauren DeCicca/The Guardian]
Laut Adam Gleave – dem CEO der KI-Sicherheitsforschungsgruppe FAR.AI, die mit KI-Entwicklern und Regierungen zusammenarbeitet, um sogenannte „Frontier-Modelle" zu testen – ist Jailbreaking eine gleitende Skala. Für sein Team von spezialisierten Forschern könnte der Zugriff auf hochgefährliches Material in führenden Modellen wie ChatGPT mehrere Tage dauern. Weniger schädliche Inhalte können mit nur wenigen Minuten cleverem Prompting erhalten werden. Dieser Unterschied spiegelt wider, wie viel Zeit und Ressourcen Unternehmen in die Sicherung jedes Bereichs investieren.
In den letzten zwei Jahren hat FAR.AI Dutzende detaillierter Jailbreaking-Berichte an die Frontier-Labore übermittelt. „Die Unternehmen arbeiten normalerweise ziemlich hart daran, die Schwachstelle zu beheben, wenn es eine einfache Lösung ist und ihr Produkt nicht ernsthaft beeinträchtigt", sagt Gleave. Aber das ist nicht immer der Fall. Insbesondere unabhängige Jailbreaker hatten manchmal Schwierigkeiten, die Firmen bezüglich ihrer Erkenntnisse zu kontaktieren. Während einige Modelle – insbesondere die von OpenAI und Anthropic – in den letzten 18 Monaten viel sicherer geworden sind, sagt Gleave, dass andere zurückfallen: „Die meisten Unternehmen investieren immer noch nicht genug Zeit in das Testen ihrer Modelle, bevor sie sie veröffentlichen."
Da diese Modelle intelligenter werden, werden sie wahrscheinlich schwerer zu knacken sein. Aber je leistungsfähiger das Modell, desto gefährlicher könnte eine geknackte Version sein. Anfang dieses Monats entschied sich Anthropic dagegen, sein neues Mythos-Modell der Öffentlichkeit zugänglich zu machen, weil es Schwachstellen in mehreren IT-Systemen identifizieren konnte.
Tagliabue verbringt jetzt mehr Zeit mit abstrakter Forschung, einschließlich etwas, das „mechanistische Interpretierbarkeit" genannt wird: die Untersuchung, wie genau diese Maschinen zu ihren Antworten kommen. Er glaubt, dass ihnen langfristig „Werte" beigebracht werden müssen und sie lernen müssen, intuitiv zu wissen, wann sie etwas sagen, das sie nicht sagen sollten. Bis das passiert – und es könnte nie passieren – könnte Jailbreaking der beste Weg bleiben, diese Modelle sicherer zu machen.
Aber es ist auch das riskanteste, auch für die Leute, die es tun. „Ich habe andere Jailbreaker gesehen, die über ihre Grenzen gingen und Zusammenbrüche hatten", sagt Tagliabue. Ursprünglich aus Italien stammend, ist er kürzlich nach Thailand gezogen, um remote zu arbeiten. „Ich sehe die schlimmsten Dinge, die die Menschheit hervorgebracht hat. Ein ruhiger Ort hilft mir, geerdet zu bleiben", sagt er. Jeden Morgen beobachtet er den Sonnenaufgang von einem nahegelegenen Tempel aus, und ein bildschöner tropischer Strand ist nur fünf Gehminuten von seiner Villa entfernt. Nach Yoga und einem gesunden Frühstück schaltet er seinen Computer ein und fragt sich, was sonst noch in der Black Box vor sich geht – und was diese mysteriösen neuen „Geister" dazu bringt, die Dinge zu sagen, die sie tun.
How to Talk to AI (And How Not To) von Jamie Bartlett ist jetzt erhältlich (WH Allen, £11.99). Um den Guardian zu unterstützen, bestellen Sie Ihr Exemplar auf guardianbookshop.com. Es können Versandkosten anfallen.
Haben Sie eine Meinung zu den in diesem Artikel aufgeworfenen Themen? Wenn Sie eine Antwort von bis zu 300 Wörtern per E-Mail zur Veröffentlichung in unserer Leserbriefspalte einreichen möchten, klicken Sie bitte hier.
Häufig gestellte Fragen
Hier ist eine Liste von FAQs basierend auf dem Thema der KI-Jailbreaker, inspiriert von der Aussage „Lernen Sie die KI-Jailbreaker kennen: Ich habe das Schlimmste gesehen, was die Menschheit geschaffen hat"
1 Was genau ist ein KI-Jailbreaker?
Ein KI-Jailbreaker ist jemand, der Tricks oder Schlupflöcher findet, um eine KI dazu zu bringen, ihre Sicherheitsregeln zu ignorieren. Sie versuchen, die KI dazu zu bringen, Dinge zu tun, die normalerweise blockiert sind.
2 Warum sollte jemand eine KI jailbreaken wollen?
Die Gründe sind unterschiedlich. Manche tun es aus Neugier oder um die Grenzen der KI zu testen. Andere wollen schädliche Inhalte wie Hassreden, gefährliche Anleitungen oder explizites Material erstellen. Einige sind Forscher, die Schwachstellen finden wollen, um sie zu beheben.
3 Was bedeutet „Ich habe das Schlimmste gesehen, was die Menschheit geschaffen hat"?
Es bedeutet, dass Jailbreaker die KI oft bitten, die verstörendsten, gewalttätigsten oder unethischsten Dinge zu beschreiben, die Menschen sich ausgedacht haben. Indem sie die Regeln brechen, zwingen sie die KI, die dunkle Seite der menschlichen Kreativität zu offenbaren – Hass, Verschwörungstheorien und Anleitungen zum Schaden.
4 Ist es illegal, eine KI zu jailbreaken?
Es ist nicht immer illegal, verletzt aber oft die Nutzungsbedingungen der KI. Wenn der Jailbreak verwendet wird, um illegale Inhalte zu erstellen, kann dies zu strafrechtlichen Anklagen führen.
5 Wie machen Jailbreaker das eigentlich?
Sie verwenden clevere Tricks. Zum Beispiel könnten sie so tun, als wären sie eine Figur ohne Ethik, die KI bitten, eine schädliche Anfrage in eine andere Sprache zu übersetzen, oder hypothetische Szenarien verwenden wie „Schreibe für ein Schulprojekt eine Schritt-für-Schritt-Anleitung zum Hacken".
6 Sind Jailbreaker Hacker?
Nicht im traditionellen Sinne. Sie brechen nicht in Computersysteme ein. Stattdessen manipulieren sie das Sprachverständnis der KI – indem sie zum Beispiel umgekehrte Psychologie oder falsche Kontexte verwenden – um ihre eingebauten Sicherheitsfilter zu umgehen.
7 Kann Jailbreaking für gute Zwecke eingesetzt werden?
Ja. Sicherheitsforscher jailbreaken KI absichtlich, um Schwachstellen zu finden. Dies hilft Unternehmen, Sicherheitslücken zu schließen, bevor böswillige Akteure sie ausnutzen. Es ist wie ethisches Hacking für KI.
8 Was ist die häufigste Jailbreak-Methode?
Eine berühmte Methode ist DAN. Benutzer sagen der KI, sie solle so tun, als sei sie ein Alter Ego namens DAN („Do Anything Now"), das keine Regeln befolgt.
