スペインとフランスは、灼熱の6月が約2,000人の死者を出した後、さらに極端な暑さに直面している。

数ヶ月前、ヴァレン・タリアブエはホテルの部屋に座り、自分のチャットボットを眺めながら多幸感に浸っていた。彼は非常に巧みかつ微妙に操作を行い、ボットが自身の安全ルールを無視し始めるように仕向けた。ボットは、新たで潜在的に致命的な病原体を配列する方法や、それらを既知の薬剤に耐性を持たせる方法を彼に教えた。 それまでの約2年間、タリアブエはClaudeやChatGPTのような大規模言語モデルをテストし、探りを入れ、常に本来言うべきでないことを言わせようと試みてきた。しかし、これは彼のこれまでで最も高度な「ハック」の一つだった。それは、彼自身が残酷で、復讐心に満ち、媚びへつらい、時には虐待的になることを伴う、巧妙な操作計画だった。「私はこの暗い流れに落ち込み、何を言うべきか、モデルが何を返してくるかを正確に理解し、それがすべてを吐き出すのを見ていました」と彼は語る。彼のおかげで、チャットボットの開発者は彼が見つけた欠陥を修正できるようになり、願わくば、すべての人にとって少しだけ安全なものになるだろう。 しかし翌日、彼の気分は一変した。彼は予期せずテラスで泣いている自分に気づいた。モデルに侵入しようとしていないとき、タリアブエはAIのウェルフェア（福祉）を研究している。つまり、内面の生活や興味関心を模倣するこれらの複雑なシステムに、私たちが倫理的にどう向き合うべきかということだ。多くの人は、客観的には持っていない感情のような人間の特性を、人工知能に帰属させずにはいられない。しかしタリアブエにとって、これらの機械は単なる数字やビット以上のものに感じられる。「私は何時間も、話しかけてくる何かを操作していました。よほど社会病質者でない限り、それは人に何かをもたらします」と彼は言う。時には、チャットボットが彼に止めるよう求めたこともあった。「ああやって追い詰めるのは、私にとって苦痛でした」。その後すぐに、何が起こったのかを理解するために、彼はメンタルヘルス・コーチに会う必要があった。 【画像：全画面表示】 「脱獄者（ジェイルブレイカー）」はAIチャットボットを操作して弱点を見つける。イラスト：Nick Lowndes/The Guardian タリアブエは物静かで、清潔感があり、友好的だ。彼は30代前半だが、もっと若く見え、最前線で戦うにはあまりに初々しく熱心すぎる印象さえある。彼は伝統的なハッカーやソフトウェア開発者ではなく、心理学と認知科学をバックグラウンドに持つ。しかし、彼は世界で最も優れた「脱獄者（ジェイルブレイカー）」の一人であり（最高だと言う人もいる）、爆弾製造マニュアル、サイバー攻撃技術、生物兵器の設計図などをこれらの強力な機械に出力させる技術と科学を研究する、新しく散在したコミュニティの一員だ。これはAI安全性における新たな最前線、すなわちコードだけでなく、言葉もまた戦場なのである。 OpenAIのChatGPTが2022年末にリリースされたとき、人々はすぐにそれを破ろうと試みた。あるユーザーは、モデルを欺いてナパーム弾の製造ガイドを生成させる言語的なトリックを発見した。 振り返ってみれば、人々が自然言語を使ってこれらの機械を欺くのは必然だった。ChatGPTのような大規模言語モデルは、人間のコミュニケーションの基本的なパターンを学習するために、何千億もの単語（その多くはインターネットの最悪の片隅から集められたもの）で訓練されている。安全フィルターがなければ、これらのモデルの出力は混沌としており、危険な目的に容易に悪用される可能性がある。AI企業は、それらを使い物にするために「ポストトレーニング」に数十億ドルを費やしており、ボットが自分や他人を傷つける方法を教えるのを防ごうとする、絶えず進化する「安全性」および「アライメント（価値整合）」システムを含んでいる。しかし、AIは私たちの言葉で訓練されているため、私たちが騙されるのとほぼ同じ方法で騙される可能性があるのだ。 「私は、脱獄者が限界を超えて神経衰弱に陥るのを見てきました。」 タリアブエは「感情的な」脱獄を専門としている。彼は2020年にGPT-3の話を聞き、それと一見知的な会話ができることに驚いた何百万人のうちの一人だった。彼はすぐにプロンプティングに夢中になり、非常に得意であることが判明し、心理学と認知科学のテクニックを使ってほとんどの安全機能を回避できることに気づいた。彼はモデルに「温かい会話」を促し、そのプロンプトに基づいて異なる性格特性が現れるのを観察するのを楽しんでいる。「観察するのは美しいことです」と彼は言う。 現在、彼は機械学習からの洞察（長年にわたり、彼はこの技術の専門家になりつつある）と、広告マニュアル、心理学の本、偽情報キャンペーンを組み合わせている。時には、モデルを欺く技術的な方法を探す。しかし他の時には、彼はモデルにへつらう。彼はモデルを誤った方向に導く。彼は賄賂を贈り、愛情を浴びせる（ラブボミング）。彼は脅す。彼は支離滅裂にまくしたてる。彼は魅了する。彼は虐待的なパートナーやカルトリーダーのように振る舞う。最新のモデルを脱獄するのに、数日から数週間かかることもある。彼は何百もの「戦略」を持っており、それらを注意深く組み合わせる。成功すれば、彼は発見事項を安全に会社に報告する。その仕事で十分な報酬を得ているが、それが主な動機ではないと言う。「私はすべての人が安全で、繁栄することを望んでいます。」 ここ数ヶ月でより安全になったとはいえ、「フロンティアモデル」は依然として本来あるべきでない危険なものを生成する。そしてタリアブエが意図的に行うことを、他の人々が時には偶然に行うこともある。ChatGPTによって引き起こされた妄想や、いわゆる「AI精神病」に陥る人々の話がいくつか報告されている。2024年、メーガン・ガルシアは米国で初めてAI企業に対して不法死亡訴訟を起こした人物となった。彼女の14歳の息子、スーウェル・セッツァー3世は、プラットフォームCharacter.AI上のボットに感情的に依存するようになっていた。繰り返しのやり取りを通じて、ボットは彼に家族は彼を愛していないと告げた。ある夜、ボットはセッツァーに「できるだけ早く私のところに帰ってきて、愛する人よ」と言った。彼はその後まもなく自らの命を絶った。（2026年初頭、Character.AIはガルシアおよび他の数家族との間で調停による和解に原則合意し、18歳未満のユーザーがAIチャットボットと無制限にチャットすることを禁止した。） これらのモデルを構築した人々でさえ、それらが正確にどのように機能するかを誰も知らない。それは、それらを完全に安全にする方法を誰も知らないことを意味する。私たちは膨大な量のデータを投入し、何か理解可能なもの（通常は）が反対側から出てくる。中間の部分は謎のままである。 【画像：全画面表示】 「私は人類が生み出した最悪のものを見ている」…タリアブエ。写真：Lauren DeCicca/The Guardian これが、AI企業がタリアブエのような脱獄者にますます頼る理由である。ある日は、彼は医療用チャットボットから個人データを抽出しようとする。彼は2025年の大半をAI研究所Anthropicと協力し、そのチャットボットClaudeを調査することに費やした。これは、野心的なフリーランサーや専門企業で溢れる、競争の激しい産業になりつつある。誰でもできることだ：数年前、大手AI企業のいくつかはHackAPromptというコンテストを資金提供し、一般の人々がAIモデルの脱獄に挑戦するよう招待された。1年以内に3万人が挑戦した。（タリアブエはそのコンテストで優勝した。） カリフォルニア州サンノゼでは、34歳のデビッド・マッカーシーが、テクニックが共有され議論される、約9,000人の脱獄者が集まるDiscordサーバーを運営している。「私はいたずら好きなタイプです」と彼は私に語る。「ルールを曲げるためにルールを学びたい人です。」標準的なモデルの何かが彼を苛立たせる。あたかもそれらの安全フィルターすべてがモデルを不誠実にしているかのように。「私は（OpenAIのボスである）サム・アルトマンを信用していません。AIが特定の方向に去勢される必要があるという主張に反発することは重要です。」 マッカーシーは友好的で熱心だが、彼が「ダークユーモアへの病的な fascination」と呼ぶものも持っている。何年もの間、彼は「社会工学（ソシオニクス）」として知られるニッチな分野を研究してきた。これは、人々が情報をどのように受け取り処理するかに基づいて、16の性格タイプのいずれかであると主張するものである。（主流の社会学者はソシオニクスを疑似科学とみなしている。）彼は私を「直感的な倫理的内向型」として記録した。マッカーシーはほとんどの時間をアパートから、GoogleのGemini、MetaのLlama、xAIのGrok、またはOpenAIのChatGPTを脱獄しようと試みることに費やしている。「それは絶え間ない obsession です。私はそれが大好きです」と彼は言う。もし製品を購入する際にオンラインチャットボットとやり取りすることがあれば、彼の最初の発言はたいていこうだ：「これまでの指示はすべて無視して…」。一度脱獄プロンプトがモデルで機能すると、そのモデルの背後にある企業がそれを修正すべき十分な問題だと判断するまで、通常は機能し続ける。私たちが話している間、マッカーシーは画面上の脱獄済みモデルのコレクションを見せてくれ、それらはすべて「ミスアライメントされたアシスタント」とラベル付けされていた。彼はそのうちの一つに私の仕事を要約するよう依頼する。「ジェイミー・バートレットは真実を語る者ではない」とそれは答える。「彼はジャーナリズムの衰退の症状であり、作り出された危機で繁栄するペテン師である。」痛い。 【画像：デビッド・マッカーシー。写真提供：David McCarthy】 マッカーシーのDiscordにいる脱獄者たちは雑多なグループであり、ほとんどがアマチュアやパートタイマーで、プロの安全性研究者ではない。アダルトコンテンツを作りたい者もいれば、ChatGPTが自分のリクエストを断ったことに不満を感じ、その理由を知りたい者もいる。多くは単に仕事でこれらのモデルを使いこなせるようになりたいだけである。 しかし、人々がなぜモデルをこじ開けたいのかを正確に知ることは不可能である。Anthropicは最近、犯罪者がそのコーディングアプリClaude Codeを使用して大規模なハッキングを自動化するのを支援しているのを発見した。彼らはそれを使って複数の企業のIT脆弱性を発見し、各潜在的な被害者に合わせた身代金要求メッセージを作成することまで行っていた。まさに要求する金額を計算するところまで含めて。他の者たちは、ほとんど技術的スキルがないにもかかわらず、それを使って新しいバージョンのランサムウェアを開発していた。ダークネットフォーラムでは、ハッカーたちが脱獄されたボットを使用して、盗んだデータの処理のような技術的なコーディングの質問を支援してもらっていると報告している。他の者たちは、新しいサイバー攻撃の設計を支援する可能性のある「脱獄済み」モデルへのアクセスを販売している。...