AIセキュリティ

生成AIの情報漏洩はなぜ起こる?実際の事例と防ぐ対策・入力後の対応を解説

中島大介(なかじ)読了時間 約19分
生成AIの情報漏洩のアイキャッチ

議事録の要約や契約書の確認を生成AIに頼むと、資料に含まれる顧客名や取引条件も送信することになります。学習を止める設定にしていても、保存先や共有相手まで確認できているとは限りません。

この記事では、生成AIの情報漏洩が起きた事例と原因、企業で取る対策を解説します。記事を読めば、入力する情報の判断基準と誤って送信したときの対応が分かります。生成AIの情報漏洩対策は、送る情報を絞ることと、サービスの設定・権限・社内ルールを組み合わせることが基本です。

生成AIの情報漏洩が起きた実際の事例

生成AIサービスでは、他の利用者の情報が表示された事故やデータベースが外部から見える問題が公表されています。提供元や発見した研究チームの説明で確認できる事例は、以下の2件です。

  • ChatGPTで他の利用者の情報が表示された事例
  • DeepSeekのデータベースが公開状態になっていた事例

ChatGPTで他の利用者の情報が表示された事例

2023年3月20日、ChatGPTで他の利用者のチャット履歴のタイトルが表示される不具合が発生しました。条件によっては、新しい会話の最初のメッセージも見えた可能性があるとOpenAIは説明しています。原因はサービス内部で使っていたソフトウェアの不具合で、修正後にサービスを復旧しました。

同じ不具合により、特定の9時間に利用していたChatGPT Plus加入者の1.2%について決済関連情報が見えた可能性も公表されています。対象は氏名やメールアドレスなどで、カード番号は下4桁に限られます。カード番号全体が漏れたという発表ではありません。

チャット表示と決済情報の問題は、同じ事故に関する報告です。この事例からは、入力内容だけでなく提供元の障害対応や通知体制も確認する必要があると分かります。

出典:OpenAIによる2023年3月20日の障害報告

DeepSeekのデータベースが公開状態になっていた事例

2025年1月、セキュリティ企業WizはDeepSeekのデータベースに認証なしでアクセスできる問題を公表しました。チャット履歴や秘密の認証キーなどを含む100万行超のログが、外部から閲覧できる状態だったという報告です。100万人分の利用者情報が流出したという意味ではありません。

Wizは発見後にDeepSeekへ連絡し、公開状態は速やかに解消されたと説明しています。同社の報告で確認できるのは外部からアクセスできた事実で、第三者による悪用の有無や被害人数まで確定するものではありません。

この事例の原因は、AIが学習した秘密を回答したことではなく、保存していたデータの公開状態です。2件とも過去に修正された問題であり、現在も同じ不具合が残っているという意味ではありません。

出典:WizによるDeepSeekのデータベース公開問題の調査報告

生成AIから情報が漏れる原因

生成AIの情報漏洩を考えるときは、情報が通る場所ごとに原因を分けると対策を選べます。入力欄だけでなく、保存された履歴や連携先にも目を向けましょう。確認したい原因は以下の3つです。

  • 送信してはいけない情報を入力する
  • 共有設定や連携先の権限を広げすぎる
  • 不正な指示や不正アクセスを受ける

送信してはいけない情報を入力する

社外秘の企画書や顧客名簿をクラウド型の生成AIに入力すると、その情報はサービス提供元へ送られます。契約や社内規程で外部への提供を認めていなければ、送信した段階で情報の取り扱いが問題になります。一般公開されていないからといって、社外に渡していないことにはなりません。

手入力した文章だけでなく、添付ファイルや画面の画像にも注意してください。議事録の参加者欄や表計算ファイルの別シートなどに、依頼に不要な情報が残っていることがあります。送信前には、AIに読ませる範囲全体を確認してください。

入力が学習に使われるかどうかは、サービスや契約、設定によって異なります。「入力すると必ず他人への回答に出る」と決めつけず、まず外部に送ってよい情報かを判断しましょう。

共有設定や連携先の権限を広げすぎる

会話の共有機能や社内文書との連携では、入力者以外が情報を見られる範囲に注意が必要です。例えば、人事評価の文書を全社員が検索できる場所に置けば、AIが参照する情報の範囲も点検しなければなりません。社内向けのサービスでも、全社員に同じ閲覧権限を渡してよいとは限りません。

RAGは、文書などを検索して回答の材料に使う仕組みです。モデルを追加学習させなくても、検索された内容は回答の作成に使われます。学習を止める設定だけでは、検索対象や回答の共有範囲まで管理できません。

連携を追加するときは、読む資料と利用者の権限をセットで確認してください。外部のアプリへデータを渡す場合は、そのアプリ側の保存や利用条件も確認対象です。

不正な指示や不正アクセスを受ける

AIが読むWebページやメールに、利用者の意図に反する命令が仕込まれる場合があります。プロンプトインジェクションと呼ばれる攻撃の一種です。AIが外部の文章を作業の指示と取り違えると、参照している社内情報を外へ送るよう誘導されるおそれがあります。

IPAも、社内文書と攻撃メールが同時に検索対象へ入る場合の情報流出に注意を促しています。社内資料の検索と外部メールの読み取りを一度に任せる場面では、必要な情報だけに検索範囲を絞る設計を検討しましょう。

また、アカウントを乗っ取られると履歴などを見られるおそれがあります。AIへの不正な指示を防ぐ対策に加え、ログイン情報の保護や端末の更新も続けてください。

出典:IPA「AI利用者のためのセキュリティ豆知識」

生成AIへ入力する前に行う情報漏洩対策

対策は「機密情報を入れない」と呼びかけるだけで終わらせず、実際の資料で判断できる形にしましょう。入力前に行う対策は以下の3つです。

  • 情報を分類して必要な部分だけ渡す
  • 会社が承認したサービスとアカウントを使う
  • 閲覧・共有・送信の権限を絞る

情報を分類して必要な部分だけ渡す

入力する資料を、外部公開済みの情報と社内限定の情報に分けてください。営業秘密や顧客の個人情報が含まれる資料は、契約や社内ルールで利用条件を確認してから扱います。判断できない情報は、自己判断で送らず管理担当者へ相談しましょう。

社内ルールを作るときは、例えば以下のように具体例と確認事項を並べると使い分けられます。

情報の例入力前に確認すること
自社が公開している商品説明未公開の追記や社内コメントが混ざっていないか
社内会議の議事録参加者名や未発表の計画を渡す必要があるか
顧客名簿や人事評価利用目的と契約上の条件を満たし、会社が認めた利用か
パスワードや秘密の認証キー入力から除外されているか

文章の言い回しを整えるだけなら、顧客名を仮の名称に置き換えられる場合があります。ただし、名称を消しても部署や取引内容の組み合わせから相手を特定できることがあります。名前の置き換えだけで匿名になったと判断せず、依頼に不要な背景や数値も取り除いてください。

会社が承認したサービスとアカウントを使う

業務利用では、サービス名だけでなく契約プランと利用アカウントまで会社で決めましょう。同じ製品でも、個人向けの契約と法人向けの契約でデータの取り扱いが異なる場合があるためです。個人で有料契約していることは、会社の利用承認を得ていることと同じではありません。

利用ルールには、承認済みのサービスと入力できる情報の組み合わせを記載してください。申請先や判断に迷ったときの連絡先も添えると、社員が次の行動を選べます。会社が把握していないAIの利用は「シャドーAI」と呼ばれ、事故時に利用状況を確認する妨げになります。

研修では、実際の機密情報を使わずに練習用の資料を用意しましょう。氏名が残った議事録などを題材に、どこを除くかと誰へ相談するかを確認する方法があります。

閲覧・共有・送信の権限を絞る

AIや利用者に与える権限は、作業に必要な範囲へ絞ってください。資料の要約に、全社フォルダの閲覧権限やメールの送信権限まで必要とは限りません。連携先を増やしたときは、読み取りだけか書き込みもできるかを確認しましょう。

運用では、以下の項目を点検します。

  • 社内資料を検索できる対象者と対象フォルダ
  • 会話や作成物を共有できる相手
  • 外部アプリが読み取る情報と実行できる操作
  • 退職者や異動者に残っている権限
  • 多要素認証の設定とアカウントの管理者

多要素認証は、パスワードに加えて別の方法でも本人確認を行う仕組みです。社外への送信を伴う操作には、人が内容と宛先を確認する工程を設けましょう。会社に情報の検出・送信制御の仕組みがある場合も、どの入力経路まで対象かを確認します。貼り付けの検出ができても、すべてのファイルや画像に対応しているとは限りません。

学習設定・保存・個人情報の条件を確認する

生成AIの設定を確認するときは、学習への利用とデータの保存を別々に見ます。個人情報を扱う業務では、設定以外の条件も確認が必要です。以下の3点を押さえてください。

  • 学習を止めても保存される情報はある
  • 法人向けでも契約と連携先の条件を確認する
  • 個人情報は利用目的と取り扱いを確認する

学習を止めても保存される情報はある

学習を止める設定は、入力した情報をモデルの改善に使うかどうかを管理するものです。サービスに情報を送らない設定や、すべての記録を残さない設定とは異なります。例えば、ChatGPTのデータコントロールでは学習をオフにしても会話は履歴に残ると説明されています。

保存された情報には、共有設定やアカウントの管理など別の対策が必要です。設定を確認するときは、以下のように分けて調べましょう。

確認する項目確認したい内容
学習への利用初期設定と変更方法、例外的に利用される条件
データの保存保存の目的、期間、削除方法と例外
人による閲覧管理者や提供元が確認できる範囲
外部への共有共有リンクや外部アプリへ渡る情報

ChatGPTの設定項目と手順は、次の記事で解説しています。

ChatGPTの情報漏洩を徹底解説!実際の事例と今日できる対策も紹介

出典:OpenAI「Data Controls FAQ」

法人向けでも契約と連携先の条件を確認する

法人向けの生成AIには、業務データを初期設定で学習に使わないサービスがあります。OpenAIはChatGPT BusinessやEnterpriseなどのビジネス向け製品について、初期設定では入出力をモデルの学習に使わないと説明しています。ただし、利用者が明示的に共有へ同意する場合などは別の扱いです。

こうした契約は学習への利用を管理する材料になりますが、誤入力や誤共有をなくす保証ではありません。自社が必要とする保存期間や権限管理が、その契約で使えるかを確認する必要があります。サービスの紹介文だけで判断せず、管理画面の設定と契約書を照らし合わせましょう。

外部アプリと接続する場合は、AI提供元だけで確認を終えないでください。どの会社へ何の情報が渡るのかを調べ、接続先にも会社の利用条件が適用できるかを判断します。

出典:OpenAI「Enterprise privacy」

個人情報は利用目的と取り扱いを確認する

個人情報を含む資料は、業務に便利だからという理由だけで生成AIへ送らないでください。個人情報保護委員会は事業者に対し、個人情報を含む入力が特定した利用目的の達成に必要な範囲内か確認するよう注意を促しています。

また、本人の同意をあらかじめ得ずに入力した個人データが、回答の出力以外の目的で扱われる場合には法律に違反する可能性があると説明しています。提供元が機械学習に利用しないことなどを十分に確認してください。

「学習しない契約なら個人情報を何でも送れる」という意味ではありません。担当者は利用目的と入力の必要性を整理し、判断が難しい場合は社内の個人情報管理担当や法務へ確認しましょう。

出典:個人情報保護委員会「生成AIサービスの利用に関する注意喚起等」

生成AIに機密情報を入力してしまったときの対応

入力後に問題へ気づいたら、自分だけで削除して終わらせず会社の事故対応手順に沿って動いてください。被害の拡大を抑えることと、調査に必要な記録を残すことを並行して進めます。対応の要点は以下の3つです。

  • 追加の送信を止めて担当者へ報告する
  • 記録を確保して共有や認証情報への対処を進める
  • 影響範囲と外部への報告・通知の要否を確認する

追加の送信を止めて担当者へ報告する

まず、問題のある資料を追加で送ったり共有したりする操作を止めましょう。生成AIに「秘密にして」と頼むことを、サービスからの削除依頼の代わりにはできません。会社の情報システム部門や事故対応の窓口へ、分かっている事実を速やかに伝えてください。

報告では、例えば以下の情報を整理します。確認に時間がかかる項目があっても、すべてそろうまで連絡を待たないでください。

  • 入力した日時と利用したサービス・アカウント
  • 送った文章やファイルに含まれる情報の種類
  • 共有リンクの作成や外部アプリの利用の有無
  • 現時点で分かっている閲覧者や送信先
  • 発覚後に行った操作

報告用の画面画像にも機密情報が含まれるため、共有先を担当者に限定します。広い範囲の社内チャットへ証拠を貼り付け、さらに情報を広げないようにしましょう。

記録を確保して共有や認証情報への対処を進める

履歴や操作記録は、何をどこへ送ったかを調べる材料になります。IPAの初動対応の資料でも、証拠の保全を踏まえた連絡と対応手順の整備が示されています。自己判断で記録を消し続けず、担当者と保存方法を確認してください。ただし、記録を集め終わるまで被害拡大の防止を待つ必要はありません。

パスワードや秘密の認証キーを入力した場合は、履歴の削除だけでは不十分です。担当者と連携し、該当する認証情報の変更や無効化を進めます。公開した共有リンクがあれば公開を停止し、必要に応じて連携権限も取り消しましょう。

提供元への削除依頼は、会社の対応方針に沿って進めてください。画面から会話が消えたことだけでは、保存先や共有先にある情報まで削除されたと確認できません。削除の範囲と完了を確認できる方法を、提供元に問い合わせます。

出典:IPA「プラクティス7-2 従業員の初動対応の規定」

影響範囲と外部への報告・通知の要否を確認する

会社の担当者は、入力した内容と提供元での取り扱いを調べて影響範囲を整理します。個人データが関係する場合は、個人情報保護委員会などへの報告や本人への通知が必要かも確認してください。

報告の対象となる事態には、病歴などの要配慮個人情報が含まれる漏えいなどの条件があります。生成AIに入力した事実だけで、一律に同じ報告義務が生じるとは限りません。一方で、漏えいのおそれがある段階で対象になる場合もあるため、被害の確定まで判断を放置しないことが必要です。

原因が分かったら、入力ルールや権限設定のどこを変えるかを決めましょう。担当者を責めるだけで終えず、承認済みの利用方法や報告先が実際に分かる状態だったかも確認します。

出典:個人情報保護委員会「漏えい等の対応とお役立ち資料」

生成AIの情報漏洩に関するよくある質問

生成AIの利用を判断するときは、サービスの料金や名称だけで安全性を決めないでください。ここでは以下の疑問に答えます。

  • 無料版を有料版に変えれば情報漏洩を防げる?
  • ローカルで動く生成AIなら情報は漏れない?
  • 情報漏洩を避けるには生成AIを禁止すべき?

無料版を有料版に変えれば情報漏洩を防げる?

有料版へ変更するだけで、情報漏洩を防げるわけではありません。確認するのは支払いの有無より、契約ごとのデータ利用条件と管理できる設定です。個人向けの有料版と、会社が管理する法人向けの契約を区別してください。

契約を変更するときは、現在の業務で必要な条件を先に書き出しましょう。例えば、社員の利用権限を会社で管理したい場合は、その機能が対象プランに含まれるかを確認します。学習への利用だけで比較を終えず、保存や共有の条件も照らし合わせる必要があります。

ローカルで動く生成AIなら情報は漏れない?

外部通信を行わずに自社の端末内で処理する構成なら、外部のAI提供元へ入力を送らずに使えます。ただし、「ローカル」という名称だけで通信の有無を判断しないでください。モデルが手元にあっても、検索や連携機能が外部サービスを使う構成はあり得ます。

ローカルLLMとは?クラウドAIとの違いやメリット・できることを解説

また、端末や保存フォルダへの不正アクセス、社内の共有範囲の誤りは別に対策が必要です。導入担当者は処理が行われる場所に加え、通信先とデータの保存先を確認しましょう。社内で運用する場合も、更新やアカウント管理の担当者を決めてください。

情報漏洩を避けるには生成AIを禁止すべき?

扱う情報と契約条件によっては、特定の業務で生成AIを使わない判断が必要です。社外秘の資料を扱う条件が確認できていないなら、確認が終わるまで送信を控えてください。

一方で、自社が公開した商品説明の言い換えや、機密情報を含まない練習用文章の作成なども同じ扱いにする必要はありません。会社のルールに沿って、何の情報をどこへ送る作業かを分けて判断しましょう。禁止・許可の結論だけでなく、承認された利用例と相談先を示すと現場で判断できます。

生成AIの情報漏洩は入力内容と運用の両方から対策しよう

生成AIの情報漏洩は、誤入力だけでなくサービスの不具合や共有設定、不正な指示などでも起こり得ます。学習を止める設定を、保存や外部への送信まで止める設定と取り違えないでください。

まずは利用中のサービスと契約を洗い出し、入力してよい情報と確認が必要な情報を整理しましょう。あわせて、閲覧・共有・送信の権限を必要な範囲へ絞ります。誤入力に備えて報告先と記録の残し方も決めておくと、問題に気づいた際の対応につながります。生成AI全体のリスク分類と会社でやるべき対策は、次の記事が入口です。

生成AIのセキュリティを徹底解説!リスクの分類と会社でやるべき対策も紹介

この記事の監修者

中島大介(なかじ)

中島大介(なかじ)

株式会社メリル 代表取締役 / 記事監修

株式会社メリル代表取締役。SEO歴20年以上。最新AIやセキュリティについて発信するYouTube「ウェブ職TV」は登録者15万人以上。著書「ChatGPT & Copilotの教科書」は10万部突破!

プロフィールを見る

関連する記事

生成AIと著作権のアイキャッチ
AIセキュリティ

生成AIの著作権を解説!侵害になる条件と企業が取るべき対策

生成AIの著作権が気になる方は必見!この記事では、侵害になる条件とAI生成物の権利・企業の対策を文化庁の資料に沿って解説します。実は、作るのは適法でも使うと侵害になる場合があります。記事を読めば、安全な使い方がわかります。

中島大介(なかじ)監修 / Touch AI編集部19 分で読めます
AIのハルシネーションのアイキャッチ
AIセキュリティ

AIのハルシネーションとは?原因と対策・防ぐプロンプトを解説

AIのハルシネーションが心配な方は必見!この記事では、起こる原因と実例・防ぐプロンプトと会社での対策を解説します。実は、最新のAIでも完全にはなくせません。記事を読めば、誤りを前提にした安全な使い方がわかります。

中島大介(なかじ)監修 / Touch AI編集部16 分で読めます
生成AIの問題点のアイキャッチ
AIセキュリティ

生成AIの問題点を解説!企業が知っておきたいリスクと具体的な対策の進め方

生成AIの問題点が気になる方は必見!この記事では、企業が注意したいリスクと対策を解説します。実は、生成AIは使う業務によって必要な対策が異なります。記事を読めば、自社で優先すべき確認事項がわかります。

中島大介(なかじ)監修 / Touch AI編集部16 分で読めます

次のステップ

最新動向を学びに変える

話題のAIアップデートを、現役講師が背景と実務への影響まで解きほぐします。Touch AI の最新講座で、変化に追いつくための視点を得てください。

受講できる講座を見る