会議が終わったあと、手元のメモを生成AIに貼り付けて「要点をまとめて」と頼む。議事録づくりがあっという間に終わる、便利な使い方です。
ところが、この何気ない操作の中に、生成AIを使うときに気をつけたい4つのリスクが、すべて含まれています。このコラムでは、「生成AIを業務で使うときに知っておきたい4つのリスク」で紹介した4つのリスクが、1つの場面の中でどう重なるのかを見ていきます。
よくある場面：会議のメモをAIに要約させる
たとえば、こんな場面です。
営業の担当者が、取引先との打ち合わせのメモを、自分で登録した生成AIのサービスに貼り付けて要約させました。メモには、取引先の会社名や担当者の名前、見積もりの金額、次の打ち合わせの日程が書かれています。担当者は、出てきた要約をそのまま社内の共有フォルダに保存し、取引先へのお礼のメールにも貼り付けて送りました。
特別なことは何もしていない、ごく普通の使い方に見えます。それでも、この流れの中で4つのリスクが起きています。
この操作の中で起きている4つのリスク
1. 漏らす・漏れる：顧客の情報を、外部に送っている
メモを貼り付けた時点で、取引先の名前や金額といった情報は、外部のサービスに送られています。サービスや設定によっては、入力した内容が保存されたり、AIの学習に使われたりします。一度送った情報は、あとから取り消すことができません。
2. だまされる：メモの中身に、答えが引っ張られる
AIは、貼り付けられた文章をそのまま材料にして答えます。メモに聞き違いや書き間違いがあれば、それが「決まったこと」としてまとめられてしまいます。さらに、生成AIは、もっともらしいけれど事実とちがう内容を混ぜることがあります（ハルシネーション）。言っていない発言や、ちがう数字が要約に入っているかもしれません。
取引先から受け取った資料などを一緒に貼り付けた場合は、その中にAIへの「隠れた命令」が紛れ込んでいて、答えがその命令に引っ張られることもあります（プロンプトインジェクション）。
3. 統制の外で使われる：会社が把握していないAIを使っている
個人で登録したサービスなど、会社が承認していないAIを業務に使うことをシャドーAIと呼びます。この場合、どの情報が、どのサービスに送られたのかを、会社はあとから確かめることができません。問題が起きても、気づくことすら難しくなります。
4. 勝手に動く：出てきた要約を、そのまま使っている
確かめていない要約を、そのまま社内に保存したり、取引先に送ったりすると、AIの間違いが人の目を通らずに外へ出ていきます。AIがメールや社内のシステムに直接つながっている場合は、人が見る前に、送信や登録まで進んでしまうこともあります。
なぜ、リスクは重なるのか
「メモを要約する」という1つの操作は、いくつかの段階に分けられます。
- 入れる：メモをAIに貼り付ける → 漏らす・漏れる
- 答えが出る：AIが要約を作る → だまされる
- 使う：要約を保存したり送ったりする → 勝手に動く
- どのAIで：そもそも、どのサービスを使うか → 統制の外で使われる
それぞれの段階に別々のリスクがあるので、1つの対策だけでは防ぎきれません。「機密情報を入れない」というルールだけでは、要約の間違いは防げません。「使ってよいAIを決める」だけでは、出てきた答えをそのまま使ってしまうことまでは防げません。
対策：段階ごとに、守る仕組みをつくる
入れる前に：入れてよい情報を決める
顧客の名前や金額、個人情報など、AIに入れてはいけない情報を、情報の重要度ごとに決めておきます。どうしても使いたいときは、名前を「取引先A」のように置きかえてから入れる方法もあります（マスキング）。
なお、「入力した内容を学習に使わない」設定（オプトアウト）にしていても、サービスの中に一時的に保存されることはあります。設定だけで安心せず、入れる情報そのものを絞ることが大切です。
どのAIで：使ってよいAIを決める
会社として使ってよいAIを決め、それ以外を使いたいときの申請のしかたを用意します。禁止するだけでは、かえって見えないところで使われてしまう、という指摘もあります。便利なAIを安全に使える環境を用意することが、シャドーAIを減らす近道です。
答えが出たら：人が確かめてから使う
AIの要約は、元のメモと見比べてから使います。特に、数字・日付・名前・決まったことは、必ず確かめます。ハルシネーションは「ときどき起きる」ものではなく、いつでも起きうるものとして扱い、大事な判断をAIの答えだけでその場で決めないようにします。
つなぐときは：送る前に人が承認する
AIをメールや社内のシステムとつなぐ場合は、送信や登録の前に、人が承認する仕組みを入れます。AIへの指示（プロンプト）で「勝手に送らないで」と書いておくだけでは、完全には守れません。仕組みとして人の確認が入るかどうかを、ツールを選ぶときに確かめておきましょう。
まとめ
「会議のメモを要約しただけ」という、よくある使い方の中にも、生成AIの4つのリスクが重なっています。リスクは1つずつ別々に起きるのではなく、1つの操作の中で同時に起きます。入れる前・どのAIで・答えが出たら・つなぐとき、の段階ごとに守る仕組みをつくることが大切です。
「社員が生成AIをどう使っているのか、まだ把握できていない」という段階からでも大丈夫です。SecureHatters では、AIの利用を含めたセキュリティの課題の整理から、ルールづくり・運用まで、セキュリティコンサルティングでご支援します。お問い合わせから、お気軽にご相談ください。