生成AIのセキュリティを徹底解説！リスクの分類と会社でやるべき対策も紹介
社内で生成AIを使う場面は、文章の下書きから資料の要約まで急速に広がっています。一方で、社員がどのサービスに何を入力しているかを会社が把握できておらず、ルールがないまま利用だけが先行している職場も少なくない状況です。何をリスクとみなし、どこから手を付けるべきかの全体像がないと、対策は場当たりになります。
この記事では、生成AIのセキュリティリスクの分類と公的機関が示す基準、会社でやるべき組織的・技術的な対策を解説します。読み終えるころには、自社で最初に決めるべきことを順番に並べられるはずです。結論から言うと、リスクは入力・出力・悪用の3つに分けて捉え、IPAや国のガイドラインなど無料の公的資料を土台に対策を組むのが近道です。
生成AIのセキュリティリスクは3つに分類できる
生成AIのリスクは、情報の流れで整理すると見通しがよくなります。
- 入力のリスク: 機密情報・個人情報の漏洩
- 出力のリスク: ハルシネーションと権利侵害
- 悪用のリスク: プロンプトインジェクションとフェイク
入力のリスク: 機密情報・個人情報の漏洩
1つ目は、社員がAIに入力した情報が外部へ渡るリスクです。IPA(情報処理推進機構)の資料は、クラウド型のチャットAIに営業秘密を入力すると運営企業にその情報が渡り、AIの学習データとして使われた場合には他の利用者への回答に混ざる可能性が理屈上あると説明しています。
個人情報についても、個人情報保護委員会が2023年6月に注意喚起を出しています。本人の同意なく個人データを入力し、応答の生成以外の目的で扱われる場合は個人情報保護法違反の可能性があるとの指摘です。入力の管理は生成AIセキュリティの出発点になります。
出力のリスク: ハルシネーションと権利侵害
2つ目は、AIの回答をそのまま使うことによるリスクです。生成AIは事実と異なる内容をもっともらしく出力することがあり、この現象はハルシネーションと呼ばれます。IPAの用語解説には、完全に防ぐ方法はまだ分かっていないと明記されています。
誤った情報を顧客への説明や社外資料に使えば、損害や信用低下に直結する問題です。個人情報保護委員会も、生成AIの応答は確率的な相関に基づいて作られるため、不正確な個人情報が含まれるリスクがあると指摘しています。既存の著作物に似た出力を利用して権利を侵害する可能性も、出力側のリスクとして管理が必要です。
悪用のリスク: プロンプトインジェクションとフェイク
3つ目は、攻撃者がAIの仕組みを悪用するリスクです。代表がプロンプトインジェクションで、IPAはAIの動作を変えてしまう特殊な入力による攻撃と定義しています。Webページやメールに仕込まれた不正な指示をAIが読み込み、第三者の意図で情報漏洩などを起こす間接型は、利用者にも警戒が必要な攻撃類型とされています。
本物と見分けのつかないフェイク画像・音声による詐欺も、生成AIの普及で身近になりました。IPAは、送金や機密情報の送信を促す依頼には二重・三重の確認を欠かさないよう促しています。フェイクが増えすぎた結果、本物の情報までフェイクに見えてしまう「嘘つきの配当」の広がりも懸念点として挙げられています。
この種のリスクの高まりは、国の脅威認識を見ても明らかです。IPAが毎年公表する「情報セキュリティ10大脅威」の2026年版では、「AIの利用をめぐるサイバーリスク」が組織向けの脅威の3位に初めて選ばれました。挙げられているのは、許可のないAI利用(シャドーAI)による情報漏洩・ハルシネーション・AIを助力にした攻撃の増長です。
一方で、AIを悪用したサイバー攻撃への備えは、意外にも従来どおりで足ります。同資料の解説も、間接的なプロンプトインジェクションを除けば事例の大部分は従来型攻撃の半自動化・高速化であり、従来のセキュリティ対策が有効と結論づけています。慌てて特別な対策に飛びつく前に、基本の徹底が先です。
公的機関が示すセキュリティの基準を押さえる
対策をゼロから考える必要はありません。無料で使える公的資料は以下の3つです。
- AI事業者ガイドラインは企業の共通指針
- IPAは利用者向けのセキュリティ資料を公開している
- 個人情報保護委員会は個人情報の入力に注意喚起している
AI事業者ガイドラインは企業の共通指針
AI事業者ガイドラインは、総務省と経済産業省が連名で公表している国の指針です。最新の第1.2版は2026年3月31日に公表されました。対象はAI開発者・AI提供者・AI利用者の3区分で、生成AIを業務で使う一般企業は「AI利用者」に該当します。
共通の指針として人間中心・安全性・プライバシー保護など10項目が挙げられ、セキュリティ確保もその1つです。セキュリティ確保の項目では、機密性・完全性・可用性を維持し、その時点の技術水準に照らして合理的な対策を講じることが求められています。利用者向けの章に具体的に書かれているのは、提供者が想定した範囲内での利用・機密情報を不適切に入力しない注意・出力結果を事業判断に使う際の責任ある判断などです。
本編とは別に、チェックリストやワークシートを含む別添資料も用意されています。継続的に更新されるLiving Documentの方針と、リスクの大きさに応じて対策を選ぶリスクベースアプローチが基本の考え方で、初版の2024年4月から改訂が重ねられてきました。
なお国の枠組みの整備も進行中です。2025年6月にAIの研究開発と活用の推進に関する法律(いわゆるAI法)が公布され、2026年7月にはAI基本計画が閣議決定されました。企業向けの実務指針としては、引き続きこのAI事業者ガイドラインが出発点です。
IPAは利用者向けのセキュリティ資料を公開している
IPAは、AIやセキュリティに詳しくない利用者・管理職向けの資料「AI利用者のためのセキュリティ豆知識」を公開しています。5つの対策がスライド形式でまとまっています。営業秘密をクラウドAIに入力しない・AIブラウザは社内用と社外用を分ける・RAG(社内文書検索)の範囲を制限する・フェイク詐欺には二重三重の確認・従来のセキュリティ対策の継続です。構成はAIの基礎知識4項目と対策5項目に用語集を加えた形で、業界団体や有識者の監修協力も明記された資料です。
社内研修での利用が想定されている資料のため、自社の教育コンテンツをゼロから作る前に、まず配布から始められます。IPAは国内外の事例やトレンドを紹介する定期資料「AIセキュリティ短信」も公開しており、最新の攻撃動向を追う情報源として役立つ存在です。
個人情報保護委員会は個人情報の入力に注意喚起している
個人情報保護委員会は、生成AIサービス利用に関する注意喚起を公表しています。企業向けの要点は2つで、個人情報を含む入力はその利用目的の達成に必要な範囲か確認すること、本人の同意なく個人データを入力する場合はサービス側が機械学習に利用しないことなどを十分に確認することです。行政機関向けにも同じ趣旨の注意点が示されており、官民を問わない基準になっています。
同じ時期には、OpenAI社に対して個別の注意喚起も出されました。病歴などの要配慮個人情報を本人の同意なく取得しないことや、利用目的を日本語で通知・公表することを求めた内容です。個人情報を扱う業務でAIを使うなら、必ず参照すべき基準になります。
会社でやるべき組織的な対策
ルールと人の面での対策は以下のとおりです。
- 利用ルールを策定して線引きを示す
- 従業員への教育でリテラシーを確保する
- 経営層主導でAIガバナンスを構築する
利用ルールを策定して線引きを示す
最初の一歩は、自社の利用ルールの文書化です。入力してよい情報とダメな情報の線引き、利用を認めるサービスの範囲、困ったときの問い合わせ先を決めて周知します。AI事業者ガイドラインの利用者向けの章は、サービス規約の遵守や問い合わせ窓口の設置まで含めて項目を挙げており、ルールの雛形として使える内容です。
禁止一辺倒のルールは、かえって会社が把握できない無断利用を生みます。使ってよい条件を明確にする方向で設計するのが実務的です。
従業員への教育でリテラシーを確保する
ルールは配るだけでは機能しません。AI事業者ガイドラインは、共通の指針の1つに教育・リテラシーを掲げ、十分なレベルのAIリテラシー確保に必要な措置を求めています。対象は自社の従業員に限らず、ステークホルダーへの教育も言及の範囲です。
教材は、IPAの利用者向け資料の流用で十分です。なぜ営業秘密を入力してはいけないのか、フェイク詐欺がどう仕掛けられるのかまで共有すると、ルールが自分ごとになります。
経営層主導でAIガバナンスを構築する
AI事業者ガイドラインは、経営層のリーダーシップのもとでAIガバナンスを構築するよう求めています。環境・リスク分析からゴール設定・システムデザイン・運用・評価までのサイクルを回し続ける考え方です。
現場任せにすると、部署ごとにルールがばらつき、リスクの抜け穴が生まれます。方針の策定と公表、定期的な見直しまでを経営の議題に載せることが、ガイドラインの想定する形です。
システム・設定でやるべき技術的な対策
仕組みの面での対策は以下のとおりです。
- 学習に使われない設定とサービスを選ぶ
- 利用できる範囲をシステム側で制御する
- 利用状況を把握してシャドーAIを防ぐ
- 重要な操作には人間の確認を挟む
学習に使われない設定とサービスを選ぶ
IPAの資料は、チャットAIのサービス規約や利用時設定を確認すれば、入力を保存や学習の対象から除外できると説明しています。会社利用では、この確認を個人任せにせず、学習に使われない設定・契約を組織として選ぶことが技術対策の第一歩です。IPAの10大脅威の解説でも、経営層への対策として約款の確認とオプトアウト設定の徹底が挙げられています。
サービスごとの規約は変わるため、導入時の一度きりでなく、定期的な確認をルールに組み込むと安全です。選定の観点としては、学習除外に加えて利用ログを取得できるか、管理者が設定を一括管理できるかも見ておきましょう。
利用できる範囲をシステム側で制御する
人の注意力に頼らず、そもそも危険な使い方ができない環境を作る対策です。IPAの資料には、AIブラウザを社内用と社外用で分ける使い分けや、RAGの検索範囲を適切に制限する運用上の選択肢が挙げられています。AIブラウザで注意が要るのは、閲覧中のページや履歴をAIと共有するため、ページに仕込まれた不正な指示を利用者の指示と誤認して動く可能性がある点です。RAGでも、社内文書と外部由来のメールが同じ検索対象に混ざると、仕込まれた不正な指示で社内情報が流出する経路が生まれます。
AIコーディングツールのように、ファイル操作まで行うタイプのAIについては、専用の設定項目まで確認が必要です。Claude Codeを使う場合の設定は、次の記事で解説しています。
Claude Codeのセキュリティを徹底解説！安全に使う設定と企業運用も紹介
利用状況を把握してシャドーAIを防ぐ
対策の網から漏れやすいのが、会社が把握していないAI利用、いわゆるシャドーAIです。IPAの10大脅威2026でも、組織のAIリスクの筆頭として、職場に許可なくAIを業務利用することによる情報漏洩が挙げられています。ルールを整えても、把握できていない利用には効きません。
IPAの解説が対策として挙げるのは、通信ログやIT資産管理の仕組みによるAI利用状況の把握です。あわせて、安全に使える公認の環境を用意すれば、隠れた利用を表に出せます。シャドーAIへの向き合い方は、次の記事で詳しく解説しています。
シャドーAIとは？リスクと対策を徹底解説！公認ルートの作り方も紹介
重要な操作には人間の確認を挟む
AIの出力や依頼をそのまま信じない運用を、フローとして固定する対策です。AI事業者ガイドラインは、出力結果を事業判断に使う際は責任をもって判断するよう利用者に求めています。社外に出す文章のファクトチェック担当を決めるのが最小限の形です。
送金や機密情報の送信のような重要な操作は、AIの介在に関係なく、別経路での本人確認を必須にします。フェイクによるなりすましへの備えとしてIPAが挙げる二重・三重のチェックと同じ考え方です。アカウントの乗っ取りを防ぐ多要素認証(MFA)の徹底も、IPAの10大脅威の解説が挙げる基本の対策に含まれます。
生成AI導入前のセキュリティチェックリスト
導入・見直しの際に確認する項目を7つにまとめました。
1. 入力してよい情報とダメな情報の線引きを文書で決める
2. 個人情報の入力条件を個人情報保護委員会の注意喚起に沿って確認する
3. 利用サービスの規約と学習利用の設定を確認する
4. 利用ルールを文書化し、問い合わせ窓口を決めて周知する
5. IPAの資料などを使った従業員教育を計画する
6. 出力を社外に出す前の確認フローと責任者を決める
7. 利用状況の把握と、経営層を含む定期的な見直しのサイクルを決める
1〜3が情報の入口の管理、4〜5が人の管理、6〜7が出口と継続の管理です。全部を一度に整える必要はなく、上から順に埋めていけば、場当たりでない対策になります。
生成AIのセキュリティは公的資料を土台に3分類で対策しましょう
生成AIのセキュリティリスクは、入力(漏洩)・出力(ハルシネーションと権利侵害)・悪用(プロンプトインジェクションとフェイク)の3つに分類すると整理できます。対策の土台には、AI事業者ガイドライン・IPAの利用者向け資料・個人情報保護委員会の注意喚起の3点が使え、いずれも無料の公的資料です。
組織面ではルール策定・教育・経営層主導のガバナンス、技術面では学習除外の設定・利用範囲の制御・シャドーAIの把握・人間の確認フローの二本立てが基本形です。IPAの10大脅威2026で組織の3位に初選出されたとおり、AIのリスクはもはや特別なテーマではなく、日常のセキュリティ管理の一部になりました。禁止ではなく、安全に使える条件を整える方向で設計すれば、活用とリスク管理は両立します。
まずはチェックリストの1番、入力してよい情報の線引きを決めるところから始めましょう。
