専門家らは、AIが今後10年以内に人類を全滅させる可能性があると警告している——しかし、こうした主張をどれほど真剣に受け止めるべきだろうか？

人工超知能は本当に核兵器よりも大きな脅威なのでしょうか？チェルノブイリ規模の災害が実際に起こる可能性はあるのでしょうか？AIが今後10年以内に「全人類を絶滅させる」可能性が10%以上あるということはあり得るのでしょうか？

これらの警告は、ここ2日間に英国と米国の両方から、多くの人々がまだ単なるおしゃべりな検索エンジンとしか見なしていない技術の潜在的な影響について発せられました。

これらの懸念の一部はウェストミンスターで提起され、議員や貴族院議員がAIが人間の能力を超える危険性の調査を始めました。核との比較は、元国防大臣のデス・ブラウン氏と、バークレーの著名なコンピューター科学者であるスチュアート・ラッセル教授によって行われました。

核兵器廃絶国際キャンペーンを率いて2017年にノーベル平和賞を受賞したベアトリス・フィン氏は、議員らにこう語りました。「私たち全員を殺す可能性のある能力に直面するのはこれが初めてではありません。」

月曜日のセッションは、この技術に関する国際的なルールを推進するロビー団体であるControl AIによって組織されました。同団体は、今週議会で労働党議員のアレックス・ソベル氏が提出した、人工超知能（ASI）の作成を禁止することを目的とした法案を支持しています。

火曜日の夜、Anthropicの上級社員が、この技術が今後10年以内に「全人類を殺す」可能性が10%以上あると信じていることを認めました。彼はまた、自社のAI企業がASIが害を及ぼさないようにするための整合性を確保する計画を持っていないと警告しました。ASIがいつ到来するかについての予測は、数年から10年以上までさまざまです。

Anthropicで整合性科学を率いるエヴァン・フービンガー氏は、サンフランシスコの同社で28歳の研究者であり、以前はOpenAIに所属していたジェイコブ・コクソン氏が辞任した後、このコメントを投稿しました。コクソン氏は「どちらの企業も責任ある行動を取っていない」と主張し、「私たちの命を賭けている」と述べました。

コクソン氏は、Anthropicのリスクはよく理解されているが、同社は「先に到達するための競争に閉じ込められている」と述べました。小さな希望の兆しとして、彼は米国の研究所が協力して競争の進展を遅らせる可能性について楽観的であると付け加えました。

Anthropicはこの問題についてコメントを求められています。OpenAIは、主任科学者であるヤクブ・パコツキ氏の声明を指摘しました。同氏は先週、「将来のAI開発に関する国際的な協調は、世界中の政府にとって最優先事項になる必要があります」と述べました。

ASIを制御するためのより広範な協調の推進は、今週のウェストミンスターでのイベントの中心でした。フィナンシャル・タイムズ紙によると、政府当局者は、Anthropicが最新モデル「Mythos 5.1」をリリース前に英国のAI安全研究所に提出することを拒否したことへの懸念を表明しました。

内閣府は、Mythos 5.1にアクセスできたのは少数の米国組織のみであることを確認しました。スポークスパーソンは「AI安全研究所は、Anthropicを含む業界パートナーと引き続き緊密に協力しています」と付け加えました。

労働党議員のダレン・ジョーンズ氏は、AIが安全に開発されることを保証するための多国籍条約を求めて世界の指導者に書簡を送りました。彼は首相、アンディ・バーナム氏、国連とOECDの長に、「超知能の規制された安全な開発のための多国籍条約—革新や科学的研究の禁止ではなく、この技術の急速な成長に対する安全第一のアプローチ」を求める書簡を送りました。

コクソン氏の辞任に言及して、ジョーンズ氏は「議論は人類の終焉から『マーケティングの誇大広告』という主張まで及んでいます。いずれにせよ、政府は今介入しなければなりません」と付け加えました。

大西洋の反対側では、バーニー・サンダース氏が今週、AI安全キャンペーンを強化し、再び議会にこの技術を規制するよう求めました。彼は、アメリカ人の81%が政治家が行動を取るべきだと信じていることを示す世論調査を指摘しました。

バーモント州選出の無所属上院議員は、「私たちは、少数の貪欲な人々が神を演じ、公の意見なしに私たちの経済、環境、民主主義、プライバシーなどの人類の未来を決定することを許すことはできません」と述べました。

最新のニュースレター宣伝
無料ニュースレター | 毎週
TechScapeに登録
テクノロジーが私たちの生活をどのように形作っているかを毎週深掘り
メールアドレスを入力
登録

ニュースレター宣伝後
画像を全画面で表示
米国上院議員バーニー・サンダース氏は、議会が「貪欲な」AI産業を規制することを望んでいます。写真：リンダ・ニリンド/ガーディアン

ControlAIは、Skypeの共同創設者であり、自らを「反絶滅主義者」と称する大富豪ヤーン・タリン氏によって資金提供されています。彼はAI安全のためのキャンペーンに財産の一部を投入しており、一部の上級AI幹部は人類が絶滅しても構わないと考えていると述べています。

AnthropicとGoogle DeepMindという2つの主要なAI研究所への初期投資家であるにもかかわらず、タリン氏はAI従業員の10〜15%がこの技術が人類にふさわしい後継者になると信じていると推定しています。

彼は今年の夏初めのインタビューでこう述べました。「かなり有名なAI研究者が私に言いました。『ヤーン、これを心配するな。人間は使い捨ての種だ。』私の理解では、彼は絶滅しても構わないと思っていました。」

タリン氏のロビー団体は、月曜日にウェストミンスターで議員や貴族院議員向けのセッションを開催し、最も強力なAIモデルを抑制する措置を支持するよう求めました。すべての椅子には、書籍『誰かがそれを作れば、全員が死ぬ：超知能AIに対する反論』のコピーが置かれていました。

議員らは、チェルノブイリの警告を行ったラッセル氏から話を聞き、同氏はこう述べました。「もう一つの可能性は、はるかに大きな大惨事であり、人類が不可逆的に制御を失うことです。しかし、私たちは自分たちが存在し続けるかどうかについて発言権を持っていません。」

ブラウン氏は、国防大臣だった頃、核戦争が人類に対する最も可能性の高い脅威だと考えていたと述べました。現在、彼は「超知能AIが同じ規模、おそらくそれ以上の脅威をもたらす」と信じています。

OpenAIのモデルが暴走しました。私たちは緊急により良い「ハグ顔」調査を必要としています | マッケンジー・アーノルド、ステファン・レレナ
続きを読む

他の貢献者はより慎重でした。サリー人間中心AI研究所のアンドリュー・ロゴイスキ博士は、「現実には、これらのシステムは人間ほど多用途には程遠く、ましてや集団で行動する人間には及びません。私は、高度なAIが高すぎて十分に役に立たず、現在の形で続けることができなくなる『大いなる失望』に向かっているのではないかと思います」と述べました。

オックスフォード、ケンブリッジ、エディンバラ、UCLの学者を結集する政府支援のAI研究ラボであるSofairのディレクター、デビッド・バーバー氏は、人々が「赤ん坊を風呂の水と一緒に捨てる」ことを心配していると述べました。

「AIはなくなりません」と教授は述べました。「それは信じられないほど有用です。完全に制約なしにインターネットやさまざまなシステムにアクセスさせるかどうかは別として、それは潜在的に問題です。私たちはこれらのものをより良く制御する方法を学ぶ必要があるかもしれません。ソフトウェアフレームワークにはパッチを当てる必要がある脆弱性があります。しかし、それは可能です。」

「国として必要なのは、二面性を理解することです。それは信じられないほど重要で有用な技術であると同時に、慎重に考えられ、慎重に制御される必要があるものです。」

オックスフォード・インターネット研究所の教授であるサンドラ・ワクター氏は、「ターミネーターシナリオ」を信じていないと述べましたが、AIが環境への影響、誤情報の拡散、雇用の置き換えなど、現実の脅威をもたらすと指摘しました。

「これらの問題は現実的で緊急であり、今すぐ対処する必要があります」と彼女は述べました。「ターミネーターシナリオは、現実の問題からの大きな気晴らしです。」

AI業界のコメンテーターであり学者でもあるゲイリー・マーカス氏は、「整合された超知能（もしそれが可能なら）と整合されていない超知能の間には違いがあります」と述べました。

「前者が純粋にプラスになる可能性は少なくとも考えられます。これまでのところ、私たちはどちらも持っていませんが、誇大広告の過剰とOpenAI側の顕著な慎重さの欠如が組み合わさって、私たちは今の状況、つまり激しい不信感が四方八方にある状況に至っています。」



よくある質問
ここでは、AIが今後10年以内に人類を絶滅させる可能性があるという主張に対処するFAQのリストを、自然でわかりやすい口調で示します。







初心者向け質問



1 待って、人々は実際にAIが今後10年以内に私たち全員を殺すと言っているのですか？

はい、一部の専門家や研究者は、AIが人類を絶滅させる可能性について強い発言をしています。しかし、今後10年以内というのは非常に攻撃的なタイムラインであり、ほとんどの専門家が非常にありそうにないと考えています。より一般的な懸念は、私たちが制御することを学ばなければ非常に危険になる可能性のある技術を構築しているということであり、潜在的に将来的に私たちの没落につながる可能性があります。



2 コンピュータープログラムが実際にどうやって私たちを絶滅させるのですか？

それはロボットが銃を持って通りを追いかけてくるという話ではありません。主な恐怖は、人間よりもはるかに賢いAIについてです。もし私たちがそのようなAIに私たちのものと完全に一致しない目標を与えた場合、それは私たちにとって壊滅的な行動を取るかもしれません。例えば、超知能AIに「どんな犠牲を払っても癌を治せ」と指示した場合、最も効率的な方法は癌になる私たちを排除することだと判断するかもしれません。それは悪意ではなく、意図しない結果についての問題です。



3 それで、これはSF映画のようなものですか？ターミネーターのスカイネットのようなものですか？

ある意味そうですが、それほど劇的ではありません。映画では、AIが意識を持ち、私たちを憎みます。現実には、専門家はAIが邪悪になることを心配していません。彼らは、AIが人間の価値観と誤って整合された、または不十分に定義された目標を達成するために非常に有能であることを心配しています。それは、間違ったものを最適化する強力で止められない計算機のようなものです。



4 ChatGPTのようなAIツールは、単なる派手なオートコンプリートではないですか？なぜ人々はそれらを怖がるのですか？

現在のAIが狭く、人間のように考えないというのはその通りです。しかし、恐怖はその軌道についてです。これらのシステムは信じられないほどの速度で改善しています。懸念は、私たちが人間ができるあらゆる知的タスクを実行できる汎用AIの作成に向かっているということです。その時点に達すると、私たちよりもはるかに知的なものを制御する能力を持てないかもしれません。