生成AIに質問すると、すらすらと自然な文章で答えてくれます。だからこそ、その答えを「正しいはず」と受け取って、そのまま使ってしまうことがあります。
このコラムは、「生成AIを業務で使うときに知っておきたい4つのリスク」で紹介した4つのうち、「だまされる」の中の誤情報（ハルシネーション）と、その対策である出力チェックを掘り下げる記事です。
ハルシネーションとは
ハルシネーションとは、生成AIが、事実とちがうことや、根拠のないことを、もっともらしい文章で答えてしまう現象です。言葉どおりには「幻覚」を意味します。
やっかいなのは、間違った答えも、正しい答えと同じように、落ち着いた自然な文章で出てくることです。文章の見た目だけでは、正しいかどうかが分かりません。
そして、これはつねに起きうるものとして考える必要があります。「たまに起きる故障」ではなく、「生成AIがもともと持っている性質」と思って使うのが、安全な向き合い方です。
なぜ、出力をそのまま使うと危ないのか
AIの答えをそのままメールに貼って送ったり、社内の資料や登録に使ったり、お客様に出す文章にしたりしたとします。もし、その答えに間違いがあれば、間違いがそのまま社外や社内に広がってしまいます。
また、出力の中には、入力に使った機密の情報が、そのまま含まれていることもあります。確かめずに共有すれば、そこから情報が漏れてしまいます（くわしくはオプトアウトしていれば安心？をご覧ください）。
つまり、AIの出力は「完成品」ではなく、「人が確かめる前の下書き」として扱うことが大切です。
対策：出力を、人が確認する
出力のチェックでは、次のような点を確認します。
- 事実確認：書いてあることが事実か、もとの資料や信頼できる情報で確かめます（ファクトチェック）。
- 妥当性の確認：事実としては合っていても、目的や状況に合った内容かを確かめます。
- 機密の混入の確認：出力に、出してはいけない情報（顧客名や社外秘の内容など）が入っていないかを確かめます。
- 不適切な表現の確認：言い回しや内容が、会社として出せるものかを確かめます。
- 著作権の確認：外に出す文章や画像などでは、ほかの人の権利を侵していないかを確かめます。
- 承認のプロセス：外に出すものは、公開の前に、別の人がレビューするなど、手順として決めておきます。
こうした、AIの処理の途中に人の確認を入れる考え方を、Human-in-the-loop（ヒューマン・イン・ザ・ループ）と呼びます。
重要な決定を、その場でしない
もうひとつ大切なのは、AIの答えだけを根拠に、重要なことをその場で決めないことです。AIが出した案をたたき台にして、事実を確かめ、必要な人の確認を経てから決めるようにすれば、間違いに気づく機会を残せます。
特に、急いでいるときほど、「それっぽい答え」をそのまま使いたくなります。だからこそ、「AIの答えは、確認してから使う」を、個人の心がけではなく、社内の決まりとして置いておくことが有効です。
まとめ
生成AIは、もっともらしい間違い（ハルシネーション）を、つねに起こしうるものです。だから、AIの答えは「完成品」ではなく、「確認する前の下書き」として扱います。事実・妥当性・機密の混入・不適切な表現・著作権を確かめて、外に出すものは承認の手順を通す。重要な決定は、その場でしない。この3つが、出力チェックの基本です。
「生成AIの出力を、社内でどう確認すればいいかわからない」という段階からでも大丈夫です。SecureHatters では、AIの利用を含めたセキュリティの課題の整理から、ルールづくり・運用まで、セキュリティコンサルティングでご支援します。お問い合わせから、お気軽にご相談ください。