「一度きりの失態」では、終わらなかった
前回紹介したMata v. Avianca事件は、当時「AIを使った弁護士の、間抜けな失敗談」として、笑い話交じりに報じられることも多かった。
しかし、そこから2年ほどの間に起きたことを振り返ると、これが決して例外的な一件ではなかったことが分かる。
ある法律系の追跡データベースによれば、AIが生成した実在しない判例を裁判所に提出した事例は、アメリカ全土だけで600件以上、カリフォルニア州だけでも52件が確認されている。しかも制裁金の額は、2023年の5000ドルから、2025年には5万5597ドルへと、わずか18か月の間に11倍にまで跳ね上がった。裁判所側の「もう見逃さない」という姿勢が、数字にはっきり表れている。
全米、そして世界に広がる火種
具体的な事例を、時系列でいくつか見てみよう。
2023年7月、ロサンゼルス近郊の弁護士アミール・モスタファヴィが、AIが生成した架空の引用を含む控訴状を提出したとして罰金を科された。2024年2月には、マサチューセッツ州上級裁判所が、同様にAIが作り出した判例を含む答弁書について意見を示している。同年5月には、テキサス州ダラス控訴裁判所が、裁判所側も相手方も存在を確認できない4件の判例について、弁護士に「実在することを証明せよ」と命じる異例の展開になった。
2025年に入ると、事態はさらに深刻化する。2月、大手法律事務所モーガン・アンド・モーガンに所属する3人の弁護士が、申立書に引用した9件の判例のうち8件がAIによる架空の生成物だったとして、連邦地方裁判所から制裁を受けた。
同じ頃、ペンシルベニア州の連邦裁判所でも、別の弁護士が同様の理由で制裁を科されている。
オレゴン州の連邦裁判所に至っては、一つの訴訟の中で、3通の準備書面にまたがり、合計15件の架空の判例引用と8件の捏造された引用文が発見されるという事態にまで発展した。
この波はアメリカ国内にとどまらない。2025年8月から11月にかけては、アルゼンチンの複数の州控訴裁判所が、それぞれ独立して同様の事例に対する制裁を下している。イギリス、シンガポール、カナダ、オーストラリアでも、同種の懲戒処分や制裁が報告されている。
そして、最大の皮肉が起きた
ここまででも十分に驚くべき話だが、この連鎖の中でもひときわ注目を集めたのが、2024年11月に起きたある出来事だ。
舞台はミネソタ州の裁判所。
争点は、選挙に影響を与える目的でのディープフェイク使用を禁じる、同州の新しい法律の合憲性だった。
この法律を擁護する側の証人として法廷に意見書を提出したのが、スタンフォード大学ソーシャルメディア研究所の創設ディレクターであり、まさに「AIによる誤情報・偽情報」研究の第一人者として知られる、ジェフリー・ハンコック教授その人だった。
ところが——皮肉なことに、ハンコック教授が提出した12ページの意見書には、15件の引用のうち2件、どうしても実在が確認できない文献が含まれていた。
教授自身が、GPT-4oを使って関連する学術文献を調査し、その過程で生成された架空の引用を、十分に確認しないまま意見書に盛り込んでしまっていたのだ。
「AIの誤情報の危険性」を訴えるための文書自体が、AIによる誤情報(ハルシネーション)によって汚染されていた——これほど的確な皮肉はなかなかない。
担当したローラ・プロヴィンジーノ連邦地裁判事は、2025年1月10日の決定で、この一件についてかなり厳しい言葉を残している。判事は、架空の引用が意見書全体の信頼性を「打ち砕いた」と指摘した。ハンコック教授本人は後に、意見書作成の過程でAIの回答を十分にファクトチェックしなかったことを認めている。
専門家であっても、油断すれば同じ轍を踏む
この章で紹介した一連の出来事から見えてくるのは、単純な話ではない。「AIに詳しくない人が使うと危ない」という話ではなく、
AIのリスクを誰よりも深く理解しているはずの専門家でさえ、同じ落とし穴にはまってしまう、ということだ。
もっともらしい文章を、自信満々に、流暢に生成するAIの性質そのものが、専門知識の有無にかかわらず、人間の警戒心をすり抜けてしまう——
これこそが、ハルシネーション問題の本当の恐ろしさなのかもしれない。
次回は、法廷の外——私たちの日常生活の中に、この現象がどのように忍び込んでいるかを見ていく。航空会社のチャットボットが約束した”存在しない割引”を巡る裁判と、検索エンジンが「ピザにボンドを塗れ」と真顔で勧めてしまった、世界中で話題になった事件を紹介する。
出典・参考情報源
- 制裁事例の統計(600件超・11倍・カリフォルニア52件など): HAQQ: AI Hallucinations in Law
- 各州の具体的な制裁事例: National Law Review、Legal.io、Sixth Circuit Appellate Blog、NWSidebar
- ジェフリー・ハンコック教授の事件の詳細: Stanford Daily、Minnesota Reformer、Dechert LLP
- 判事の裁定・信頼性への言及: GovTech
コメント