AIハルシネーションとは ~ハルシネーションを防ぐための対策

AIハルシネーションとは ~ハルシネーションを防ぐための対策

AIハルシネーション(Hallucination)とは

AIのハルシネーション(Hallucination:幻覚)とは、生成AIが虚偽または誤解を招く情報を事実かのように提示する現象です。

AIが事実と異なる情報や根拠のない内容を自信満々に生成してしまうので、人は事実と信じこんでしまったり、時にはAIに嘘をつかれてしまったと感じてしまう現象のことです。

主に大規模言語モデル(LLM)で問題となり、ChatGPTやGeminiなどの生成AIサービスでもランダムに発生します。

なぜハルシネーションが起きるのか?

言語モデルでハルシネーションが起きるのは、標準的な学習と評価の手順により、不確実性を認めるよりも、当て推量のほうに報酬が出るためだと考えられています。

AIのハルシネーションは“AIが意図的に嘘をつく”のではありません。生成AIの仕組み上、どうしても避けられない副産物なのです。

AIハルシネーションは生み出されてしまう主な原因は以下の通りです。

確率的予測に基づいて文章を生成しているため

大規模言語モデル(LLM)は、文章生成時に、「次に来る言葉として最も確率が高いもの」を選択していきます。

モデルは“意味”を理解しているわけではなく、膨大なテキストの統計的パターンを学習しているだけです。そのため、もっともらしいが誤った内容を生成してしまうことがあるのです。

学習データの誤り・偏り

AIは学習したデータに依存します。

学習したデータによっては、

  • データが誤っている
  • 偏りがある
  • 特定分野のデータが不足している

といった問題を含んでいる場合があります。その場合、AIは不正確な回答をしやすくなるのです。

質問が曖昧・未定義

モデルは曖昧な質問でも回答しようとします。人間であれば、なんと健気な人柄なのかと感じてしまう人もいるかもしれませんが、AIは必ず何らかの回答をするようプログラミングされています。

その為、情報が欠けていても、また、現実に存在しないものでも聞かれたら答えようとすることから、存在しない事実を“創作”してしまうのです。

モデルが訓練されていない領域への回答

専門性が高い分野(法律・医療・数理など)で、

  • 推測で話を埋めてしまう
    ケースが起きやすいです。

モデルは「わからない」と言うよりも、回答する方向に自動的に“最適化”されてしまう傾向があります。

ハルシネーションを未然に防ぐ実務的な対策

0) 人力対応

もっとも確実で、基本中の基本となる方法が、「人がAIの出力内容をレビューする」ことです。

専門知識を持つ人間がAIが出力したコンテンツを検証することで、誤りを修正していくという手法です。

リソースとコスト、そして多くの時間が必要になる方法ですが、今も、基本のキであることは間違いありません。

とは言え、すべてを人力で対応するわけにはいきませんので、以下からテクノロジーを利用したAIハルシネーション対策について、ご紹介していきます。

1) 全体戦略(設計思想)

まず重要なのは「ハルシネーションは完全にゼロにはできない前提」で被害を最小化する設計をすることです。

具体的には、

  • 出力を外部の一次情報に根付かせる(grounding)
  • モデルが「知らない」時は応答を保留/拒否できるようにする。
  • 自動生成→自動検証→人間承認の多段検証ワークフローを組む。
    (RAG/検証チェーンは有効であることが複数報告されています)。

2) 技術的対策(エンジニアリング)

以下は実務で高い効果を示す手法群です。

A. Retrieval-Augmented Generation (RAG) — 「参照あり」で生成する

外部ドキュメント(社内KB、公式サイト、法令DBなど)を検索して参照しながら応答を作る。

生成時に根拠ソース(ドキュメントID+抜粋)を添えると検証が容易になります。

実運用で多くの研究/事例報告がRAGによる誤情報削減を示しているという研究データもありますので、気になる方は是非探してみてください。

実装上の注意点について簡単にまとめておきます。

  • インデックス時に信頼できるソースのみを含める(信頼性フィルタ)。
  • 検索単位(チャンク)を最適化し、メタデータ(発行日、著者等)を保持する。
  • 検索結果をモデルに渡す際は抜粋 + ソース参照を明示して渡す(RAGプロンプトテンプレート化)…

APPSWINGBYは、最先端の技術の活用と、お客様のビジネスに最適な形で実装する専門知識を有しております。AI開発から既存の業務システムへの統合などの他、リファクタリング、リアーキテクチャ、DevOps環境の構築、ハイブリッドクラウド環境の構築、システムアーキテクチャの再設計からソースコードに潜むセキュリティ脆弱性の改修の他、テクノロジーコンサルティングサービスなど提供しています。

貴社のセキュリティ対策等についてご相談されたい方は、お問い合わせフォームからお気軽にご連絡ください。システムの専門家が、貴社の課題解決をサポートいたします。

システム開発にお困りではありませんか?

この記事を書いた人
株式会社APPSWINGBY
株式会社APPSWINGBY マーケティング

APPSWINGBY(アップスイングバイ)は、アプリケーション開発事業を通して、お客様のビジネスの加速に貢献することを目指すITソリューションを提供する会社です。

ご支援業種

情報・通信、医療、製造、金融(銀行・証券・保険・決済)、メディア、流通・EC・運輸 など多数

株式会社APPSWINGBY
株式会社APPSWINGBY マーケティング

APPSWINGBY(アップスイングバイ)は、アプリケーション開発事業を通して、お客様のビジネスの加速に貢献することを目指すITソリューションを提供する会社です。

ご支援業種

情報・通信、医療、製造、金融(銀行・証券・保険・決済)、メディア、流通・EC・運輸 など多数

監修
APPSWINGBY CTO川嶋秀一
株式会社APPSWINGBY  CTO 川嶋秀一

動画系スタートアップや東証プライム上場企業のR&D部門を経て、2019年5月より株式会社APPSWINGBY 取締役兼CTO。
Webシステム開発からアプリ開発、AI導入、リアーキテクチャ、リファクタリングプロジェクトまで幅広く携わる。
C, C++, C#, JavaScript, TypeScript, Go, Python, PHP, Java などに精通し、Vue.js, React, Angular, Flutterを活用した開発経験を持つ。
特にGoのシンプルさと高パフォーマンスを好み、マイクロサービス開発やリファクタリングに強みを持つ。
「レガシーと最新技術の橋渡し」をテーマに、エンジニアリングを通じて事業の成長を支えることに情熱を注いでいる。

APPSWINGBY CTO川嶋秀一
株式会社APPSWINGBY  CTO 川嶋秀一

動画系スタートアップや東証プライム上場企業のR&D部門を経て、2019年5月より株式会社APPSWINGBY 取締役兼CTO。
Webシステム開発からアプリ開発、AI導入、リアーキテクチャ、リファクタリングプロジェクトまで幅広く携わる。
C, C++, C#, JavaScript, TypeScript, Go, Python, PHP, Java などに精通し、Vue.js, React, Angular, Flutterを活用した開発経験を持つ。
特にGoのシンプルさと高パフォーマンスを好み、マイクロサービス開発やリファクタリングに強みを持つ。
「レガシーと最新技術の橋渡し」をテーマに、エンジニアリングを通じて事業の成長を支えることに情熱を注いでいる。