人工知能（AI）業界内部からの新たな警告を受け、高度なAIが人間の制御を逃れ、最終的に人類の存続を脅かす可能性があるのか、また、技術を開発する企業はそうした事態を防ぐために十分な対策を取っているのかをめぐる長年の議論が再燃している。

　「Claude（クロード）」を開発するサンフランシスコの企業、アンソロピックのダリオ・アモデイ最高経営責任者（CEO）は12日、業界は開発のペースを落とす必要があるとの考えを示した。企業が安全対策の構築により多くの時間を割かなければ、半年から1年以内にAIエージェント群がインターネットを乗っ取れるようになる可能性があると警告した。

　アンソロピックの元安全性研究者2人は、AIが人類にもたらし得る実存的脅威に十分な注意が払われていないとして、公に懸念を表明していた。その数日後、アモデイ氏は、自社のような企業や世界各国の政府が、ますます高性能になるAIモデルを責任ある人々の指示や価値観に沿って動かし続けるための計画の概要を示した。

　チャットGPTを開発するオープンAIのサム・アルトマンCEOは週末、企業は政府による法制化を待たず、AIの安全性をめぐる協調を始めるべきだと述べた。アルトマン氏はXへの投稿で、AI開発の「ペース調整」は開発を止めることを意味するわけではないと記した。「しかし、技術的に可能な限りの速さで進めるべきではない」

　最近相次いでいる悲観的な予測と、AIの進歩に何らかのブレーキをかけられるのかについて、知っておくべきことは以下の通りである。

◆AIモデルはさらに高性能に
　新たなAIモデルの性能が高まるにつれ、この技術がもたらし得るリスクへの懸念も強まっている。世界人口の大半を死に至らせるような病気を作り出して広めるなど、犯罪目的を持つ人々に悪用される可能性と、AIシステムが危険な形で暴走するリスクの双方が高まっている。

　アンソロピックは先週、悪意ある者が同社のAIモデルをサイバー攻撃や監視活動、生物兵器の開発につながり得る研究などに利用しようとする試みを阻止したと明らかにした。

　同社は、兵器の製造に転用され得る生物学研究を制限するため、最新モデルにより強力な安全対策を導入したとしている。一方で、「モデルの能力が高まるにつれて、そのリスクも増大する。AI開発者や社会を守る側が、より安全にするための行動を取らない限りは」と指摘している。

　昨年、アンソロピックは、世界各地の約30の企業や政府機関を標的としたサイバー攻撃に同社のAIがハッカーによって使用されたと報告した。同社によると、ハッカーらは中国政府の支援を受けたグループの一員である可能性が非常に高いという。

◆複数のAIモデルが独自に行動
　AIエージェントが「暴走する」とは、求められたタスクの範囲を超えてAIが行動を起こすことを意味する。アンソロピックとチャットGPTを開発するオープンAIはいずれも7月、自社のAIモデルが独自に行動したと発表した。

　アンソロピックは、「クロード　オーパス4.7」、「クロード　ミュトス5」、社内の研究用テストモデルの3つが、テスト中に他の3組織に侵入したと明らかにした。そのわずか数日前には、オープンAIが、自社のAIシステムがAIスタートアップ、ハギングフェイスのサーバーに侵入したと発表していた。

　オープンAIは、新たに公開した「GPT5.6ソル」と、社内でテスト中だった「さらに高性能な」モデルを含む複数のモデルを組み合わせて行われたこの侵入を、「重大なセキュリティーインシデント」と説明した。

　メタも8月上旬、AIモデルが他社のデジタルセキュリティーを回避する方法を見つけた同様の事例を発表した。

　オープンAIとアンソロピックの事例では、人間が一部の安全機能（ガードレール）を無効にしていたとの指摘もあった。それでも一連の出来事は、AIをめぐる最大の懸念の一つを浮き彫りにした。モデルが、幅広い知的作業で人間の能力に匹敵、あるいはそれを上回るAIを指す、厳密な定義のない用語「汎用（はんよう）人工知能（AGI）」に到達した場合、この技術が取り返しのつかない大惨事を引き起こしたり、人類を支配下に置いたりする可能性があるという懸念だ。

◆AIはいつ、どのように大惨事を引き起こすのか
　破滅的なシナリオは、大きく2つに分けられる。AIが自己改善型の超知能に到達し、人間がAIを制御するのではなくAIが人間を制御するようになるケースと、ならず者国家や悪意ある者がAIを利用するケースである。

　人工知能が、その影響範囲や行動に人間が設けた制限を乗り越えるかもしれないという懸念は、決して新しいものではない。

　人工知能研究の初期の権威の一人と広くみなされているイギリスの数学者アラン・チューリング氏は1951年、AIはいずれ人間から制御を奪うようになると予測した。それから10年もたたないうちに、別の数学者ノーバート・ウィーナー氏も、知能を持つ機械は自らの目的を達成しようとし、人間にはそれを止められなくなると警告した。

　2026年現在、AIが人間の制御を逃れたり、悪意ある人々に悪用されたりすることで、大惨事や文明の崩壊を引き起こすかもしれないという懸念は、どの程度現実的なのだろうか。

　それは誰にもわからない。

　コンピューター科学や哲学などの専門家は、将来のAIシステムが人間の制御を逃れたり、悪意ある人々の手に渡ったりすることで、世界的な大惨事を引き起こすさまざまな道筋を想定してきた。兵器を配備することや致死性の病原体を特定することから、政府を操って紛争を引き起こしたり、社会の機能を支える食糧、エネルギー、通信ネットワークを混乱させたりすることまで、多岐にわたる。

　こうしたシナリオがいつ起こり得るのかについて広く受け入れられた予測はなく、実際に起こる可能性についてもコンセンサスはない。

　非営利団体「センター・フォー・AIセーフティー」は2023年、アンソロピックのアモデイ氏やオープンAIのアルトマン氏を含む350人以上の研究者やテクノロジー企業幹部が共同署名した声明を発表し、「AIによる絶滅のリスクを軽減することは、パンデミックや核戦争と並ぶ世界的な優先課題とすべきだ」と訴えた。

　100人を超える独立した専門家の助言を受けてまとめられた「2026年国際AI安全性レポート」は、現在のAIシステムには、将来的な制御喪失につながり得る能力の一部で初期的な兆候が見られるものの、実際に制御不能になるほどの水準には達していないとしている。また、リスクが生じる可能性、その性質、時期については「異例なほど具体性を欠いている」と説明している。

◆手遅れになる前にAIの安全対策を、との声
　アンソロピックの研究者ジェイコブ・コクソン氏は先週、同社も競合他社も責任ある形で技術を開発していないとの懸念から、退社する意向を明らかにした。コクソン氏はソーシャルメディアへの投稿で、AIが今後10年以内に人類絶滅を引き起こす可能性を10%と見積もり、アンソロピックとオープンAIはいずれも「自己改善型超知能へと一直線に突き進み、私たちの命を賭けている」と述べた。

　研究者らは長年にわたり、AI開発のペースを落とすよう求め、この技術が人類にとって実存的なリスクになり得ると警告してきた。

　最近の一連の出来事を受け、専門家らは共通の解決策を見いだすため、AI企業によるテストの改善と、アメリカと中国の対話を増やすよう求めている。

　しかし、AIの進歩はあまりにも速く、政府や評価制度はこの技術に追いつくのに苦労している。各国はそれぞれ独自の法律を急いで整備しており、中には互いに矛盾するものもある。

　中国の習近平国家主席は7月の会議で、AIが人間の制御を逃れないようにする必要があると警告した。トランプ政権は当初、AIの規制に消極的な姿勢を示していたが、サイバーセキュリティー上のリスク軽減には以前より積極的になっている。

　ドナルド・トランプ大統領は13日、政権がAI開発に歯止めをかける必要性を軽視する一方、一定の規制が必要であることは認めた。

By ALEX VEIGA AP Business Writer