AIハルシネーション事件簿(5) 世界的コンサル企業の誤算、そして1966年に戻る旅

政府が発注した、44万ドルの監査報告書

2025年、オーストラリア連邦政府の雇用・職場関係省(DEWR)は、福祉給付のペナルティを自動的に科す政府のITシステムについて、外部監査を実施することを決める。発注先に選ばれたのは、世界最大級のコンサルティングファームの一つ、デロイト・オーストラリア。契約金額は44万オーストラリアドル(当時のレートで日本円にして約4000万円台)にのぼった。

完成した報告書は、2025年7月、DEWRの公式サイトで公開された。政府機関の重要な監査文書として、正式に世に出たのだ。

見つかったのは、実在しない引用の山

だが、それも長くは続かなかった。シドニー大学の研究者クリス・ラッジ氏が、この報告書を精査し、驚くべき事実を突き止める。報告書の中には、実在しない出典を引用した箇所が、複数見つかったのだ。

中には、ある連邦裁判所判事のものとされる発言が、そのまま「引用文」として掲載されている箇所もあった。しかし、その判事はそのような発言を一切していなかった。存在しない法律専門家やソフトウェア工学の専門家による、架空の「報告書」への言及まで含まれていた。

ラッジ氏がこの問題をメディアに提起すると、瞬く間に大きなニュースとなった。

「主要な結論は変わらない」、それでも返金

事態を受け、デロイトは報告書を修正し、判事の捏造発言や、実在しない参考文献への言及を削除した改訂版を提出した。あわせて、報告書の作成過程で「Azure OpenAI」(GPT-4oを含む生成AIシステム)を利用していたことを、初めて正式に開示した。

金銭的な決着として、デロイトは契約金額の一部——報道によれば29万ドル相当——をオーストラリア政府に返金することで合意した。デロイト側は「報告書の主要な結論そのものは変わらない」と説明しているが、世界有数のコンサルティングファームが、政府向けの正式な納品物における生成AIの不適切な利用によって、返金にまで追い込まれたという事実は、業界に大きな衝撃を与えた。

弁護士や学者だけでなく、ビジネスの最前線で「専門的な助言」を売り物にする企業でさえ、同じ落とし穴にはまりうる——このシリーズを通して見てきた現象が、ついに数十万ドル規模のビジネス上の失敗として、現実のものになった瞬間だった。

半世紀以上前、すべてはここから始まっていた

さて、ここでシリーズの締めくくりとして、時計の針を大きく巻き戻したい。舞台は1966年、マサチューセッツ工科大学(MIT)。

コンピューター科学者ジョゼフ・ワイゼンバウムは、ELIZA(イライザ)と名付けた、ごく単純なプログラムを開発した。ELIZAがやっていることは、実のところ驚くほど単純だ。相手が入力した文章の中からキーワードを拾い、それをオウム返しのような形で質問に変換して返す——ただ、それだけ。まるでカウンセラーのように振る舞う、簡易的な会話シミュレーターだった。

ところが、ワイゼンバウム自身の秘書が、ある日、彼にこう頼んだという。「少しの間、部屋を出ていってもらえますか。ELIZAと二人きりで話したいんです」

彼女は、ELIZAがただのプログラムであることを知っていた。ワイゼンバウムがコードを一行ずつ書いている様子を、間近で見ていたのだから。それでもなお、心を許すように、プライバシーを求めた。

「ELIZA効果」という名の、私たちの弱点

この現象は、後に「ELIZA効果」と呼ばれるようになる。人間には、たとえ相手が単純な仕組みで動くプログラムだと分かっていても、まるで理解し、共感してくれているかのように錯覚してしまう性質がある——という指摘だ。

ワイゼンバウム自身は、この結果に強く動揺したと伝えられている。彼はELIZAを、AI研究に対する一種の”皮肉”、警鐘として作ったつもりだった。それが真逆に受け止められ、多くの人が本気でELIZAに”理解”されていると感じてしまったことに、大きな戸惑いを覚えたという。彼はその後、2008年に亡くなるまで、AI技術の危うさを訴え続ける、最も辛辣な批評家の一人であり続けた。