学習データの品質の問題がAIの幻覚を引き起こす技術的メカニズム

大規模言語モデル（LLM）は、その知識と能力の全てを学習データから獲得します。したがって、学習データの品質が低い場合、モデルは誤った情報、矛盾する情報、または一貫性のないパターンを学習してしまい、結果として「幻覚」と呼ばれる事実に基づかない出力を生成する原因となります。

これは、モデルが学習した「世界モデル」が、現実世界を正確に反映していないために起こります。その具体的な技術的メカニズムは以下の通りです。

※本記事は「AIの幻覚（AI’s Hallucination Problem）とは何か？」の補足記事です。まだ、お読みでない場合は是非元記事もお読みください。

「幻覚」の原因となる技術的メカニズム

1. 誤情報（Inaccurate Information）の学習

メカニズム

学習データの中に、そもそも事実と異なる情報（誤報、デマ、古い情報など）が混入している場合、モデルはその誤情報を「正しい知識」として学習してしまいます。モデルは、入力された情報が真実であるかどうかを判断する機能を持たず、与えられたデータをそのまま受け入れる傾向があります。

技術的影響

• 事実の誤認: モデルが質問された際に、学習した誤情報をあたかも事実であるかのように出力します。例えば、ある歴史上の出来事の日付がデータ内で誤っている場合、モデルはその誤った日付を正しいものとして生成します。
• 「もっともらしい嘘」の生成: モデルは、誤情報であっても、学習した言語パターンに基づいて非常に流暢かつ自然な形で出力するため、ユーザーはそれが誤情報であることに気づきにくいです。

2. 矛盾する情報（Inconsistent Information）の学習

メカニズム

学習データの中に、同じエンティティや概念について互いに矛盾する情報が含まれている場合、モデルはどちらが正しいか（あるいは両方とも誤っているか）を判別することができません。その結果、曖昧な、あるいはランダムな選択が行われ、時に一方の誤った情報を選択したり、両方の情報を不自然に混在させたりすることがあります。

技術的影響

• 一貫性のない出力: 同じ質問に対して異なる回答を生成したり、同じ文脈内で自己矛盾する内容を述べたりすることがあります。
• 論理的破綻: 矛盾する情報に基づいた推論を試みた結果、論理的に破綻した文章や結論を導き出すことがあります。例えば、ある人物の職業がデータによって異なると、その人物の専門分野に関する質問に一貫性のない回答をします。

3. ノイズ（Noise）の学習と過学習

メカニズム

学習データにスペルミス、文法エラー、不完全な文、無意味な文字列、あるいは重複した情報などの「ノイズ」が多く含まれている場合、モデルはそれらのノイズも学習対象と見なします。特に、モデルが過学習（Overfitting）に陥ると、ノイズまでをパターンとして捉え、それが生成段階で現れることがあります。

技術的影響

• 無意味な出力の生成: モデルが学習したノイズを再生成し、意味のない単語の羅列や文法的におかしい文章を出力することがあります。
• 冗長性: 重複した情報が多い場合、モデルは不必要に同じ内容を繰り返したり、冗長な表現を使ったりすることがあります。
• 意図しない出力: モデルがノイズを誤って重要なパターンと認識し、ユーザーの意図しない無関係な情報を生成してしまうことがあります。

4. 古い情報（Outdated Information）の学習

メカニズム

Web上のデータは常に更新されていますが、モデルの学習データセットは特定の時点のスナップショットであり、一度構築されると頻繁には更新されません。そのため、学習データが古くなると、モデルは最新の事実や状況を反映できなくなります。特に、人名、組織名、統計データ、法律、地名など、頻繁に変わる情報においてこの問題が発生しやすいです。

技術的影響

• 最新情報の欠如: 最新の出来事や変更された事実に関する質問に対して、モデルは過去の情報（学習時点の情報）を基に回答し、それが現在の事実と異なる場合に幻覚となります。
• 誤った状況認識: 現実世界は常に変化しているにもかかわらず、モデルは古い情報に基づいて状況を認識するため、現実離れした出力を生成します。

5. 不適切なアノテーション/ラベリング（Poor Annotation/Labeling）

メカニズム

強化学習（RLHF: Reinforcement Learning from Human Feedback）や教師ありファインチューニングのフェーズにおいて、人間によるアノテーションや評価が行われます。このアノテーションの品質が低い（誤ったラベル付け、不正確な評価など）場合、モデルは間違った方向に最適化されてしまい、幻覚の発生を抑制するどころか、助長してしまう可能性があります。

技術的影響

• モデルの誤った挙動: 人間が「良い」と評価した出力が実は不正確であった場合、モデルはその不正確な出力を「良い」ものとして学習し、将来的に同様の不正確な出力を生成する傾向が強まります。
• バイアスの増幅: アノテーターの個人的な偏見や知識不足がアノテーションに反映されると、それがモデルに学習され、特定のバイアスを持った幻覚を生み出す可能性があります。

具体例

誤情報

「2024年のパリ五輪で野球は開催されない」という誤った情報が学習データに含まれていた場合、モデルは「2024年のパリ五輪では野球は開催されない」と堂々と回答する。実際には開催される。

矛盾

ある人物の誕生日について、データAでは「1月1日」とあり、データBでは「7月7日」とある場合、モデルは質問された際にどちらか一方をランダムに選択したり、「1月1日と7月7日」といった矛盾した情報を提示したりする。

ノイズ

学習データに「これは事実ですね。しかし事実は異なります」といった不自然な重複表現や、意図しない記号の羅列が多く含まれている場合、モデルがそれを真似て同様のノイズを含んだ文章を生成することがある。

古い情報

モデルの学習データが2022年までのものである場合、2023年以降に就任した国家元首や、変更された法律について質問されると、古い情報に基づいて回答し、現在の事実とは異なる内容を生成する。

学習データの品質は、AIモデルの性能、特にその出力の正確性と信頼性に直接的に影響します。データが不正確、矛盾している、ノイズが多い、または古い場合、モデルはそれらの不完全な情報を基に「世界」を構築するため、結果として幻覚という形で現実と乖離した出力を生成します。

この問題に対処するためには、データの前処理、クリーニング、キュレーション、そして定期的な更新が極めて重要であり、また人間の監視とフィードバック（RLHFなど）を通じて、モデルがより正確で信頼性の高い出力を生成できるように継続的に改善していく必要があります。

システム開発にお困りではありませんか？

もしも今現在、

• どのように開発を依頼したらよいかわからない
• どのように開発を依頼したらよいかわからない
• 企画や要件定義の段階から依頼できるのか知りたい
• システム開発費用がどれくらいかかるのか知りたい
• 見積りがほしい

など、システム開発に関するご相談・ご依頼がございましたら、お気軽にご相談ください。APPSWINGBYでは、「アプリでお客様のビジネスを加速し、お客様とともにビジネスの成功と未来を形作ること」をミッションとしています。大手SIerやＲ＆Ｄ部門で培った経験やノウハウ、高度な技術力でお客様の「やりたい」を実現します。

今すぐ相談

まずはお気軽にご相談ください

この記事を書いた人

株式会社APPSWINGBY マーケティング

APPSWINGBY（アップスイングバイ）は、アプリケーション開発事業を通して、お客様のビジネスの加速に貢献することを目指すITソリューションを提供する会社です。

ご支援業種

情報・通信、医療、製造、金融（銀行・証券・保険・決済）、メディア、流通・EC・運輸 など多数

株式会社APPSWINGBY マーケティング

APPSWINGBY（アップスイングバイ）は、アプリケーション開発事業を通して、お客様のビジネスの加速に貢献することを目指すITソリューションを提供する会社です。

ご支援業種

情報・通信、医療、製造、金融（銀行・証券・保険・決済）、メディア、流通・EC・運輸 など多数

監修

株式会社APPSWINGBY 　CTO 川嶋秀一

動画系スタートアップ、東証プライム R&D部門を経験した後に2019年5月に株式会社APPSWINGBY 取締役兼CTOに就任。
Webシステム開発からアプリ開発、AI、リアーキテクチャ、リファクタリングプロジェクトを担当。C,C++,C#,JavaScript,TypeScript,Go,Python,PHP,Vue.js,React,Angular,Flutter,Ember,Backboneを中心に開発。お気に入りはGo。

株式会社APPSWINGBY 　CTO 川嶋秀一

動画系スタートアップ、東証プライム R&D部門を経験した後に2019年5月に株式会社APPSWINGBY 取締役兼CTOに就任。
Webシステム開発からアプリ開発、AI、リアーキテクチャ、リファクタリングプロジェクトを担当。C,C++,C#,JavaScript,TypeScript,Go,Python,PHP,Vue.js,React,Angular,Flutter,Ember,Backboneを中心に開発。お気に入りはGo。