先日の「翻訳フォーラム・シンポジウム」午前の部でお伝えしきれなかった点ふたつについて補足しておきます。ご参加くださった方には、事後に配布資料をお送りしてありますので、そちらもあわせてご覧ください。
●ひとつは、「権威」の話（事後配布資料のPDFでいうと11ページ）。
●もうひとつは、「おわりに」で引用した "ROBOT APOCALYPSE" についてです（同20ページ）。
先に、「おわりに」の話を書いておきます。
スライドの最後で紹介したのは、xkcdという楽しいサイトで知られるRandall Munroeの文章です。この本でご存じの方もいると思います。
原文はリンク先にありますが、
簡単にいうと、ロボットとかAI の反乱は起きるか？ を検証している話。ロボットやAI が自らの意思で反乱を起こすことはそうそうないだろうという論を展開したのち、終盤で綴られているのが、引用したパラグラフです。
In theory, human intervention is required to launch nuclear weapons. In practice, while there’s no Skynet-style system issuing orders, there are certainly computers involved at every level of the decision, both communicating and displaying information. In our scenario, all of them would be compromised. Even if the actual turning of the keys requires people, the computers talking to all those people can lie. Some people might ignore the order, but some certainly wouldn’t.
（太字は高橋）
つまり、コンピューターがウソを言ったとき――意図的なウソである必要はなく、今の生成AI のようなハルシネーションを想定すればいい――、自分の判断でそれを無視する人間もいるだろうが、なかには無視しない、つまりコンピューターが言ったとおりのことを実行してしまう人がいるかもしれない、とMunroeさんは言っている。
人間がコンピューターの言うことを過信したせいで悲劇が起きるというのも、SFでは定番すぎる展開なわですが、それが今ではちっとも絵空事ではなく、十分に考えられる可能性になったと私は思っています。
だって、生成AI の出した結果を鵜呑みにした事例とか、「ChatGPTがそう言った」という答えが返ってきたとか、そういう話が実際にもう出てきているんですからね。
人間はそうバカじゃない――みたいにまとめられるハッピーエンドのストーリーも多いですけど、いや、人間ってバカだと思うんですよ。というか、とにかく易きに流れる。楽なほうがいい。そして、99.99％の人間がバカじゃないとしても、残り0.01％でもバカがいたら人類の運命は変わりうるわけで。
AI を絶賛している人って、人間を信じすぎてるんじゃないか、そういう思いが実は日々強くなっていて、それで今回は参考までにこの記事を載せてみた次第。
