意見：AI幻覚の流行、我々が準備不足な危機

AIの幻覚を減らすという絶え間ない約束にもかかわらず、ChatGPTからPerplexity、Gemini、Apple Intelligenceまでの主要なAIツールは、しばしば警騒を鳴らす結果をもたらす偽情報を生成し続けています。AIのリスクについて警告している専門家を含む多くの人々が捏造されたコンテンツに騙されてしまい、Deep Researchのような高度なツールさえもレポートをでっち上げています。真実は人間の手にあるようです。

チャットボットは年々改善してきており、かなり良くなってきています。しかし、「幻覚」と呼ばれる問題がまだ完全に解決されていないのも事実です。

私たちが愛するチャットボットたちは、科学小説のヨーダのような決意と権威で、私たちの問い合わせに対して見事な答えを出します。それがとても間違っていても、私たちは彼らを信じます。時には盲目的にも。

数多くの科学者、専門家、さらにはチャットボットの開発者たちが、何年も前から幻覚について警告してきました。それでも、導入は急速に広がっており――たった数日前にOpenAIは週間アクティブユーザーが4億人を超えたと報告しました――AIリテラシーはそれに追いついていません。

最近の研究や裁判、劇的な出来事は、誤情報が我々が思っている以上に危険であることを何度も示しています。

思っていた以上に深刻

最初は、大きなAIによる生成エラーを見つけるのはかなり面白かったです。例えば、Geminiが生成した恥ずかしいAIの概要が「ピザのレシピに無毒の接着剤を加える」ことをユーザーに提案したり、「一日に一つの小石を食べる」ことを推奨したりしたのは昨年のことです。しかし、私たちがAIへの信頼を取り戻すにつれて、状況はエスカレートし、ますます懸念が増しています。

12月には、AppleのAIツールが「ニュースを要約」する見出しを作成し、BBCがルイジ・マンジョーネが自殺したと誤って報じたなど、偽の情報や誤解を招く情報を生成しました。この事件の後、出版社はAppleに対して苦情を申し立て、ニュースコンテンツを分析しながら生成的AIの精度を調査し始めました。

BBCの調査結果は、数日前に公表されましたが、驚くべき統計が明らかになりました。人気のAIチャットボットが提供した回答の51%には重大な問題が含まれており、モデルが提供した引用の13%は完全にでっち上げで、データの19%は間違っていました。

10代の若者は、偽ニュースと本物のニュースを区別するのに苦労することが多く、AIが生成するコンテンツに簡単に影響を受けるため、最も影響を受けやすい層の一つです。 今年1月に発表された研究によれば、10代の若者の35％がAIモデルによって生成された偽のコンテンツに惑わされ、22％がその偽情報を共有していました。

しかし、これらの幻覚に引っかかるのは10代の若者や注意散漫な人々だけではありません。また、ジェミニやApple Intelligenceだけが問題なわけでもありません。

どのAIモデルも安全ではなく、どの業界も安全ではありません

その研究はBBCによって行われ、別の問題を確認しました：すべてのAIモデルは幻覚を起こします。専門家たちは最も人気のあるモデル、ChatGPT、Gemini、Perplexity、およびCopilotを考察しました。どのAIモデルもエラーから免れることはありません。Anthropicはこの問題を取り扱うページを持っており、幻覚を減らす方法についてのアイデアを提案しています。

「最も進んだ言語モデルであるClaudeでさえ、時々、事実に基づかないテキストや、与えられたコンテキストと一致しないテキストを生成することがあります」と文書には記されています。他のAI企業も、フェイクコンテンツを避けるためのヒントやコツを共有するページを持っていますが、それはそう簡単なことではなく、長い間未解決の問題でした。

2023年、OpenAIは新たな革新的な幻覚を取り除く手法の開発に取り組んでいると発表しました。ネタバレ注意：現在でもそれは大きな問題であるということです。

1年以上前の2024年1月、CEOのAravind Srinivas氏は「Perplexityの幻覚は主に無料アカウントで発生している」と述べました。「大部分の不満は製品の無料版から来ている」とSrinivas氏は説明し、この問題を修正するためにより多くのGPUを導入していると付け加えました。しかし、10月になると、ニューヨーク・ポストとダウ・ジョーンズがPerplexityに対して訴訟を起こしました。彼らのモデルが彼らの出版物に偽のニュースを帰属させ続けたためです。また、スタートアップが米国の選挙のために開発したAIツールは、専門家によってテストされ、不一致、不正確な要約、幻覚が明らかにされました。

幻覚症は科学的、学術的なレベルに達している

今の最大の懸念の一つは、AIのリスクと危険性について警告している専門家を含む、専門家たちがこの幻覚に傾倒しやすいツールに引っかかってしまっていることです。

12月には、スタンフォード大学の教授であり、テクノロジーと誤情報の専門家であるジェフ・ハンコックがAIを使用して裁判の声明を作成したと告発されました。ハンコックは、ディープフェイクの使用を犯罪化する2023年の州法を擁護する12ページの宣言を提出し、その中に15の引用を含めました。しかし、その引用のうち2つはどこにも存在しなかったのです―なぜなら、誤情報専門家の好みのAIツールであるChatGPTがそれらを単にでっち上げてしまったからです。

ハンコック氏は、今年「真実、信頼、テクノロジー」を教える予定で、彼がOpenAIのチャットボットを使用して引用を整理した結果、幻覚が生じたことを説明しました。研究者は謝罪し、彼の宣言の実質的な点を支持し続け、AIのリスクについて最も知識がある専門家でさえもそれに対して影響を受ける可能性があるという貴重な教訓を私たち全員に教えてくれました。

ハンコック教授だけがAIによって生成された虚偽の情報を含む文書を裁判所に提出したわけではありません。最近では、ウォルマートに対する訴訟に関与する別の事件が話題となりました。なぜなら、弁護士たちはAIが生成した偽の事例を使用して自分たちの主張を構築したからです。実際、問題はアメリカの裁判所で非常に頻繁になってきているため、モーガン＆モーガン法律事務所は最近、AIによって生成された引用のリスクについて警告するメールを、1000人以上の弁護士に送ったのです。また、アメリカ法曹協会は40万人の会員に対して、弁護士の倫理規則――AIが生成した情報を含む――を思い出させました。

深層研究も

現在最も人気のあるAIツールの一つは「ディープリサーチ」で、専門家や科学者が自分たちの研究により複雑な結果を求めるために設計されています。このツールからも幻覚が欠けているわけではありませんが、OpenAIのバージョンは最初に200ドルのProサブスクリプションを必要としました。

Redditのユーザーは、この問題について懸念を表明し、人気のあるすべてのモデルがディープリサーチツール（パープレキシティ、チャットGPT、ディープシーク）を特徴づけて幻覚を見ていると報告しています。研究者やAIの専門家も、他のソーシャルメディアプラットフォームであるXで混乱する結果を共有しています。

「このツールが美しく、論理的に書かれたレポートを生成しました」と、OpenAIのDeep Researchツールを使って若者たちが行った数学の研究をしたあるユーザーが書きました。「ただし、問題は全てが作り話だということです。」

「Deep Researchは、数千の記事のデータセットをコンパイルし、 reputable sourcesと称して各著者の出生年情報を集めると主張しながら、統計と分析を一杯作り上げました」、別のユーザーが共有しました。「これらの事実は一つもありません。」

しばらくの間で見たソータLLMからの最悪の幻覚

ディープリサーチは、何千もの記事のデータセットを作成し、各著者の出生年情報を信頼性のある情報源から収集したと主張しつつ、数々の統計データと分析を作り上げました

しかし、これは全くの事実無根です。https://t.co/ZZk40vTKIM pic.twitter.com/RAnNVcHDmR

— Paul Calcraft (@paul_cal) 2025年2月18日

真実は人間の手に残る

チャットボットはいつまで幻覚を見続けるのでしょうか？AIの弱点は何年も前から明らかでした。それはPlanet Moneyのようなポッドキャストで2023年にAIによって生成されたエピソードをテストしたときに見られましたし、最も進んだモデル、さらには専門家や技術者が使用するために設計されたものでも見られ続けています。

もしかすると、これが問題として残ることを受け入れ、AIツールを使って作成し共有するものに対しては自分たち自身が責任を持たなければならないと理解する時期なのかもしれません。

これが広く知られている問題のように思えるにも関わらず、AIリスクの専門家たち自身がAIの説得力のある説明文に騙されてしまう事実は確かに懸念されます。採用が全速力で加速し続け、デジタルリテラシーを上回る一方で、矛盾と捏造された引用が増え続ける中、状況はさらに複雑になっています。

AIの幻覚が露見したケースは、事実確認が重要となるものが多く、これは事実確認部門を廃止したザッカーバーグ氏に対する警告となるべきです。これは特に裁判所で顕著で、弁護士や裁判官が事実やケースの確認に努め、また、ニュースメディアでは、正確さと情報源の検証が重要です。

しかし、これらの詳細を誰もが検討していないケースはどうでしょうか？日常的で、より個人的な状況では何が起こるのでしょうか？現在、何百万人もの学生がAIが生成した回答を勉強のために暗記しており、ユーザーはAIが提供する指示に従って病気を治療し、他の人々は新しいトピックについて学び、完全に技術を信頼しています。

私たちが直面しているこの新しい現実の結果は測り知れず、予測不可能で、そして真実は――現時点では――質問し、検証する時間を費やす人々の手にあります。