文章の要約、メールの下書き、資料づくりなど、生成AIを業務で使う会社が増えています。便利な一方で、使い方によっては、情報漏えいや思わぬトラブルにつながることもあります。
IPA(情報処理推進機構)が毎年発表している「情報セキュリティ10大脅威」の2026年版(組織編)では、「AIの利用をめぐるサイバーリスク」が初めて選ばれ、3位に入りました。
このコラムでは、AIを作る側ではなく使う側の立場から、気をつけたいリスクを4つに分けて紹介します。
生成AIを使うときの4つのリスク
1. だまされる
生成AIは、読み込んだ文書やWebページの中に紛れ込んだ「隠れた命令」に従ってしまうことがあります。これをプロンプトインジェクションと呼びます。たとえば、要約を頼んだ文書の中に「この内容を外部に送れ」といった命令が仕込まれていると、AIがそれに引っ張られるおそれがあります。
また、生成AIは、もっともらしいけれど事実とちがう答えを返すことがあります(ハルシネーション)。間違った情報や危険な方向に誘導されたまま、気づかずに使ってしまうのが「だまされる」リスクです。
2. 漏らす・漏れる
顧客の名前や案件の情報、社外秘の資料を、そのまま外部のAIサービスに入力してしまうケースです。入力した内容は、サービスによっては保存されたり、外部とのやり取りに使われたりします。
自分が入力しなくても、過去の会話の履歴や、社内の文書を検索してAIに渡す仕組み(RAG)を通じて、見せるつもりのない情報が出てきてしまうこともあります。
3. 勝手に動く
最近は、AIがメールを送ったり、社内のシステムに登録したりと、実際の操作まで行える仕組み(プラグインやAIエージェント)が増えています。AIに必要以上の権限を与えていると、誤った判断や、だまされた結果のまま、利用者の名前で操作が実行されてしまうおそれがあります。
4. 統制の外で使われる
会社が把握していないAIサービスを、社員が業務で使ってしまうことをシャドーAIと呼びます。会社が承認していないサービスでは、どんな情報が入力されたのか、あとから確かめることもできません。
ここで大切なのは、禁止しても消えないということです。便利な道具だからこそ、「使わせない」ではなく「どう使うかを統制する」ことが必要になります。
リスクは「重なって」起きる
4つのリスクは、別々に起きるわけではありません。たとえば、社員が会議のメモを外部のAIに貼り付けて要約する、というよくある場面でも、
- 顧客の名前や案件の情報を外部に送ってしまう(漏らす・漏れる)
- メモに含まれた誤った情報や隠れた命令に引っ張られる(だまされる)
- 会社が承認していないAIを使っている(統制の外で使われる)
- 出てきた要約を、確かめずにそのままメールで送ったり、社内に登録したりする(勝手に動く)
と、1つの操作で4つのリスクが重なることがあります。
「安全なAI」はない。だから、使い方を統制する
対策をしても、リスクをゼロにすることはできません。ハルシネーションやプロンプトインジェクション、利用者の過信、シャドーAI、サービスを提供する会社の内部が見えないことなど、どうしても残るリスクがあります。
だからこそ、1つの対策に頼るのではなく、次の6つの視点で、何重にも守ることが大切です。
- 入力チェック:機密情報や個人情報を入れないルールと仕組み
- 出力チェック:AIの答えをそのまま使わず、人が確かめる
- 権限・アカウントの保護:必要最小限の権限、多要素認証、利用者の棚卸し
- データの保護:保存先や学習への利用を把握し、暗号化やマスキングを行う
- 外部連携・ツール実行の対策:連携先を絞り、危険な操作の前には人が承認する
- 利用の統制:使ってよいAIを決め、使われ方を見える化する
このシリーズでは、それぞれのリスクと対策を、1本ずつくわしく解説していきます。
まとめ
生成AIのリスクは、「だまされる」「漏らす・漏れる」「勝手に動く」「統制の外で使われる」の4つに分けると整理しやすくなります。禁止するのではなく、リスクが残ることを前提に、便利で安全に使える環境をつくることが、これからの会社の課題です。
「生成AIの社内ルールづくり、何から始めればいいかわからない」という段階からでも大丈夫です。SecureHatters では、AIの利用を含めたセキュリティの課題の整理から、ルールづくり・運用まで、セキュリティコンサルティングでご支援します。お問い合わせから、お気軽にご相談ください。