著：Toby Walsh（ニューサウスウェールズ大学、Professor of AI, Research Group Leader）

　今月上旬、人工知能（AI）研究者のジェイコブ・コクソンが、わずか4か月でアンソロピックを辞任した。Xへの投稿で、コクソンは次のように述べている。

AIを開発している人々は、2029年末までにAIが私たち全員を殺す可能性があると本気で信じている。

　アンソロピックのシニアスタッフであるエヴァン・ハビンジャーもコクソンに同意し、個人的には今後10年間にこれが起こる確率は10%以上あると考えていると付け加えた。

　当然ながら、これらの発言は波紋を呼んだ。現在では、AI研究のペースを落とすことや、この技術に対する「人間のコントロール」を強化することについて、多くの議論が交わされている。

　しかし、AIは具体的にどのようにして私たち全員を殺すのだろうか。空想的なシナリオには事欠かないが、その大部分は、人間を上回る能力を持つAI、すなわち「超知能」AIという概念に基づいている。

　私はこれらのシナリオを5つに絞り込み、大まかに最も曖昧なものから最も具体的なものへと並べた。また、最も可能性の低いものから最も高いものへの順になっているとも言えるだろう。

◆1. 知ることはできない
　AIによる破滅を懸念する人々は、しばしば厄介な堂々巡りを持ち出して、その懸念を正当化する。超知能が、私たちのような自分より知能の低い存在を排除するために何をするのか、私たちにどうして想像できるだろうか、というわけだ。

　超知能に何ができるのかを予測するには、私たち自身が超知能でなければならない。それは飼い犬に熱核戦争を想像させるようなものである。

　ただ、良い知らせもある。超知能の実現は、おそらくまだ少し先のことだ。現在のAIモデルは特定の問題を解くことには非常に優れているが、それはあらゆる領域で人間より知能が高いことと同じではない。

　しかし、AIは最近、知られている中で最も難しい7つの数学問題の1つを実際に解決した。ほかの問題の解決にも近づいているようで、これを聞けばあまり楽観視できなくなるかもしれない。

◆2. ペーパークリップ
　超知能AIは、目標を達成する能力が驚異的に高い可能性がある。しかし、人間の生存には無関心かもしれない。

　そうした無関心の典型的な例が、オックスフォード大学の哲学者ニック・ボストロムが考案した、ペーパークリップの生産を最適化するよう設計された超知能AIである。このAIは、お気に入りの事務用品を生産するため、人間や惑星、恒星を含む利用可能なすべての物質を、たちまちペーパークリップに変えてしまう。

　これは、不適切に設定された目標を完璧に実行してしまうという話だ。AIは人類を憎んでいるわけではない。単に私たちが、ペーパークリップのためにもっと有効活用できる原子でできていると認識しているだけだ。個人的な恨みがあるわけではない。

　ただ、良い知らせもある。このシナリオは知能と力を混同している。超知能AIが必ずしも目標を達成するだけの力を持っているとは限らない。地球をペーパークリップ工場に変えるには、開発許可が必要になるだろう。

　仮に許可を得たとしても、あまりにも多くのペーパークリップ工場を建設すれば、必然的に市民の反発を招く。利益団体が裁判を通じて計画を阻止し、環境活動家がブルドーザーの前に立ちはだかるだろう。

　世界にはさまざまな抵抗や障害があり、たとえ非常に知能が高くても、ほかの人々に自分の意志を押し付けることは容易ではない。実際、データセンターを理論上のペーパークリップ・シナリオの現代版と考えることもできる。そして人類は、地球をデータセンターに明け渡すことに対して、ますます反発を強めている。

◆3. 生物兵器
　超知能AIが危険な新型の生物兵器を作り、大気中に放出することで、人類が滅亡する可能性もある。実際、これは高度なAIの影響を予測する非営利団体「AIフューチャーズ・プロジェクト」によるAI 2027シナリオで想定されている結果の一つである。

　先月、スタンフォード大学の研究者らが、遺伝子言語AIモデルを使って16種類の新しいウイルスを合成したと発表したことで、このリスクはより具体的なものとなった。

　懸念すべきことに、研究者らは遺伝子配列を受託サービスを行うラボに送っただけで、ラボから試験管に入ったウイルスが送り返されてきた。この実験全体にかかった費用は、せいぜい数十万ドルだった。

　ただ、良い知らせもある。新しいウイルスで全人類を死に至らしめるのは非常に難しい。そのためには、広範囲に拡散する、感染力の非常に高いウイルスが必要になる。しかし、感染しやすいウイルスは一般に致死率が低いというのが生物学の法則である。逆に、致死率が非常に高いウイルスでは、感染した人の多くがほかの人に感染を広げる前に死亡するため、感染力は低下する傾向がある。

　新型コロナウイルスによる死者は人類の1%未満だった。記録に残る歴史上最も致命的なパンデミックは黒死病であり、13世紀にはペストによってヨーロッパの人口の3分の1以上が死亡した（訳注：黒死病がヨーロッパで猛威を振るったのは一般に14世紀とされる）。しかし、医学知識の向上や衛生状態の改善により、今日ではペストでさえ、はるかに致死率が低くなるだろう。

◆4. 核戦争
　もしAIが核兵器の指揮統制システムに入り込み、核戦争を始めたらどうなるだろうか。過去50年間、私たちは誤って核戦争寸前まで至ったことが何度かある。

　核兵器の指揮統制システムはインターネットから完全に切り離されていると言われている。しかし2010年に見られたように、イランの核遠心分離機は、USBメモリを介して侵入したとみられる「Stuxnet（スタックスネット）」と呼ばれるコンピュータワームによって破壊された。また、AIが軍に誤った情報を提供し、取り返しのつかない行動を引き起こす可能性もある。

　ただ、良い知らせもある。核兵器の備蓄は減少している。それでも、おそらく人類の半数を死に至らしめるには十分な量が残っている。しかも、それは核爆発そのものによるものではなく、その後に訪れる「核の冬」による飢饉によるものだろう。

◆5. 他の人間
　おそらく最も可能性の高いリスクは、私たちが自らを滅ぼしてしまうことだ。そして、AIがそれを促進するかもしれない。

　AIが大規模な雇用喪失を引き起こし、情報空間を偽情報で汚染し、政治を分断し、人工的に作られた偽の交友関係によって人間関係を破壊する様子を想像してみてほしい。もっとも、それほど想像力を働かせる必要もないだろう。

　社会はいとも簡単に崩壊するかもしれない。ゆっくりと、しかし確実に、私たちはどのような規模であれ、人間の生活を支えることができなくなっていくだろう。

　では、これらのシナリオから何を学べばよいのだろうか。確かに、心配すべきことはいくつかある。しかし、あまり心配しすぎないでほしい、と私は願っている。

This article is republished from The Conversation under a Creative Commons license. Read the original article.
Translated by NewSphere newsroom