Microsoft SecurityのAI memory poisoning研究とは?よくある疑問と確認ポイント

Microsoft SecurityのAI memory poisoning研究でまず押さえるべき点は、AI memoryは便利なパーソナライズ機能である一方、攻撃者に悪用されると「一度の会話」では終わらない継続的なリスクになり得るということです。2026年6月22日にMicrosoft Security Blogで公開された「Guarding AI memory」は、製品の不具合告知というより、AI memoryを安全に扱うための研究・設計指針を整理した公式情報です。分類は「Research」、関連する製品・サービスとしてMicrosoft Security Copilotが示されていますが、本文ではMicrosoft 365 Copilotのメモリ保護、監査ログ、eDiscoveryなどにも触れられています。(Microsoft)

この記事では、Microsoft SecurityのAI memory poisoning研究について、管理者・セキュリティ担当者・Microsoft 365 Copilot導入担当者が検索しやすい疑問をQ&A形式で整理します。「自社が対象なのか」「何を確認すればよいのか」「AI memoryが見えない・使えない場合はどこを見るべきか」まで、実務で確認しやすい形でまとめます。

目次

Microsoft SecurityのAI memory poisoning研究とは何ですか?

Microsoft SecurityのAI memory poisoning研究は、AIエージェントやCopilotのようなAIシステムが持つ「記憶」の安全性を扱う研究です。

AI memoryとは、AIが過去のやり取りやユーザーの好み、業務上の文脈などを保持し、次回以降の回答や行動に反映する仕組みです。Microsoftは、AI memoryによってAIが単なる一問一答のツールから、ユーザーに合わせて継続的に支援する協働相手に変わると説明しています。一方で、memoryは将来の挙動に影響するため、攻撃対象領域も広がります。(Microsoft)

特に重要なのは、AI memoryが「情報の保存場所」であるだけでなく、AIの判断やツール実行に影響する制御層にもなり得る点です。Microsoftの関連ドキュメントでも、永続的なメモリは将来のツール選択、拒否動作、推論に影響し、元の会話やアプリケーションの文脈を離れて作用する可能性があると説明されています。(Microsoft Learn)

AI memory poisoningとは何ですか?

AI memory poisoningとは、攻撃者がAIのメモリに不正な情報や指示を混入させ、後の会話や処理でAIの挙動を歪める攻撃の考え方です。

従来のプロンプトインジェクションは、1回の会話や1つの入力の中でAIを誤作動させるイメージで捉えられがちでした。AI memory poisoningでは、攻撃の影響がその場で表面化しない場合があります。たとえば、攻撃者が埋め込んだ指示がAI memoryに残り、数日後の別の会話で呼び出され、予定表の情報を外部に送るような挙動につながる可能性があります。Microsoft Security Blogでは、このような時間差を伴う攻撃を「delayed tool invocation」の例として説明しています。(Microsoft)

実務上は、次のように理解すると分かりやすいです。

観点従来のプロンプトインジェクションAI memory poisoning
攻撃のタイミングその場の会話や入力で悪用される過去に混入した記憶が後から悪用される
影響範囲1回の応答に閉じやすい複数回の会話、別セッション、別アプリに広がる可能性がある
気づきやすさ直後に不自然な応答が出ることがある時間差があるため原因を追いにくい
対策の中心入力検査、プロンプト防御メモリの作成・保存・検索・監査・削除までの統制

つまり、AI memory poisoningは「AIが覚える内容を悪用する攻撃」です。AIが何を記憶し、どの場面で思い出し、どの操作に使ったのかを追える状態にしておくことが重要になります。

この情報は脆弱性の緊急告知ですか?

Microsoft Security Blogの該当記事は、公式ページ上では「Research」に分類されています。現時点の内容は、特定製品に対する緊急パッチの案内というより、AI memoryのリスク、Microsoftの防御アプローチ、組織が見るべき設計原則を整理した研究記事として読むのが自然です。(Microsoft)

ただし、「研究記事だから対応不要」と見るのは危険です。AI memoryは今後のCopilotやAIエージェント活用で重要になる領域であり、導入済みの組織では、監査ログ、データ保護、ユーザー制御、管理ポリシーの確認に進むきっかけになります。

特に次の組織は、早めに確認しておく価値があります。

対象確認すべき理由
Microsoft 365 Copilotを導入済みCopilotのパーソナライズやメモリが業務データと関わる可能性がある
Security Copilotを利用しているセキュリティ運用でAIの判断や要約を使うため、監査性が重要になる
Copilot Studioでエージェントを作成している独自エージェントが外部データやツールを扱う場合、メモリとツール実行の統制が必要になる
SOCやCSIRTを持つ組織MemoryUpdatedなどの監査イベントを既存の検知・調査に組み込める可能性がある
Microsoft PurviewやeDiscoveryを運用しているAI関連データの検索・削除・調査ワークフローを整備する必要がある

AI memoryは何のために使われますか?

AI memoryは、AIがユーザーや業務の文脈を継続的に理解するために使われます。

Microsoft Security Blogでは、AI memoryの主な価値として、ユーザーごとの好みや業務スタイルを踏まえたパーソナライズ、そしてAIエージェントが継続的なドメイン知識を持つことによる一貫性が挙げられています。(Microsoft)

たとえば、次のような使い方が想定されます。

活用シーンAI memoryが効くポイント
文章作成よく使う文体、部署名、報告書の形式を踏まえた提案がしやすい
会議準備過去のプロジェクト文脈や関係者を踏まえて論点を整理しやすい
セキュリティ運用組織固有の調査観点や運用ルールを踏まえた補助がしやすい
エージェント活用継続的なタスクや利用者の好みを反映しやすい

便利な反面、AI memoryに誤った情報、古い情報、不正な指示が残ると、以後の回答や操作に影響します。そのため、AI memoryは単なる「便利機能」ではなく、管理すべき業務データの一部として扱う必要があります。

MicrosoftはAI memoryをどう守ろうとしていますか?

Microsoft Security Blogでは、AI memoryを守るために、ストレージ、検索、モデルとのやり取り、ユーザー制御まで含めた多層防御の考え方が示されています。(Microsoft)

記事内で説明されている主な保護観点は次のとおりです。

領域Microsoftが説明している考え方実務での確認ポイント
Memory Creationメモリ書き込み時にサニタイズやプロンプトインジェクション検査を行う不審な内容がそのまま記憶されない設計か
Task Adherenceユーザー意図と合わないツール呼び出しを検出するAIが勝手に意図しない操作をしていないか
Memory StorageM365のデータポリシー、テナント分離、暗号化などの枠組みで扱う既存の情報保護・保持・調査ポリシーと整合しているか
Observabilityメモリ更新の監査ログを残すSOCや管理者が後から追跡できるか
eDiscoveryAI関連データの検索や削除を支援する誤ったメモリや不適切なAIデータを調査・削除できるか

Microsoftは、メモリ更新時の監査イベントを組織の監査ログに記録し、Defender Advanced Hunting、Defender Sentinel、Azure Portal Sentinel AnalyticsでMemoryUpdatedフィールドを既存分析と結合できると説明しています。(Microsoft)

AI memory poisoningで特に怖いのは何ですか?

AI memory poisoningで特に怖いのは、攻撃の原因と結果が時間的に離れることです。

Microsoftの説明では、AI memoryにより攻撃者は1回のプロンプトで成功する必要がなくなります。攻撃者は時間をかけてAIの挙動を形作ったり、元の文脈が失われた後にAIの推論へ影響するメモリを埋め込んだりできます。(Microsoft)

実務上、次のようなリスクに注意が必要です。

リスク具体例確認ポイント
永続化悪意ある指示が一時的な入力で終わらず、後の会話にも影響するメモリの作成・更新履歴を追えるか
時間差実行共有ファイル内の隠し指示が、後日の別会話で作用するAIが参照したファイルやソースを監査できるか
文脈またぎ別アプリ・別セッションの情報が意図せず影響するメモリの利用範囲が明確か
調査困難いつ、どこで、なぜ記憶されたか分からない監査ログやeDiscoveryの運用があるか
過剰共有権限管理が甘いデータをAIが拾ってしまうSharePoint、OneDrive、Teamsの権限棚卸しができているか

AI memoryは、AIの回答品質を高めるための仕組みです。しかし、セキュリティ視点では「将来のAIの判断材料を保存する仕組み」でもあります。この二面性を前提に設計・運用する必要があります。

Microsoft 365 Copilot利用者は対象になりますか?

Microsoft 365 Copilotを利用している組織は、確認対象に含めて考えるべきです。

Microsoft Security Blogの該当記事はMicrosoft Security Blog上のResearch記事ですが、本文ではMicrosoft 365 Copilotにおけるメモリ作成、保存、監査、eDiscoveryについて説明しています。(Microsoft)

また、Microsoft Learnでは、Microsoft 365 CopilotのセキュリティはMicrosoft 365のID、アクセス制御、コンプライアンス、プライバシー保護を継承し、Copilotはユーザーがアクセス権を持つデータのみを参照すると説明されています。(Microsoft Learn)

ただし、これは「権限設計が甘くても安全」という意味ではありません。既存のSharePoint、OneDrive、Teams、Exchangeのアクセス権が広すぎると、Copilotが参照できる情報も広がる可能性があります。AI memoryの話に限らず、Copilot導入時はデータ権限の棚卸しが重要です。

Security Copilot利用者は何を確認すべきですか?

Security Copilotを利用している場合は、AIの回答や要約をセキュリティ判断に使う場面があるため、特に監査性と運用手順を確認すべきです。

Microsoft Security Blogのページでは、関連する製品・サービスとしてMicrosoft Security Copilotが表示されています。(Microsoft) また、CopilotやAIアプリケーションの監査ログに関するMicrosoft Learnでは、Microsoft Security Copilotを含むMicrosoftアプリケーションはAudit Standardに含まれると説明されています。(Microsoft Learn)

確認すべき観点は次のとおりです。

確認項目見るべきポイント
監査ログCopilot利用や管理操作が監査対象になっているか
アラート連携Defender、Sentinel、Purviewなどの運用にAI関連イベントを組み込めるか
利用範囲どの担当者がSecurity Copilotを使い、どのデータにアクセスできるか
判断プロセスAIの要約をそのまま採用せず、人間が確認する基準があるか
インシデント対応不審なAI操作やメモリ更新があった場合の調査手順があるか

Security Copilotはセキュリティ運用を効率化する道具ですが、判断の根拠や参照データが追えなければ、インシデント後の説明責任が弱くなります。AI活用の前に、監査ログを誰が、どの頻度で、どのツールで見るのかを決めておくことが大切です。

Copilot Studioのエージェントも関係しますか?

関係します。特に、Copilot Studioでカスタムエージェントを作り、外部データ、業務システム、コネクタ、アクションを使わせている場合は注意が必要です。

Microsoft Learnでは、ローコード・ノーコードでAIエージェントを作成できる環境が広がることで、悪意あるプロンプトによる操作、意図しないツール実行、データ流出などのリスクが増えると説明されています。Defenderのリアルタイム保護では、エージェントがアクションを実行する前にツール呼び出しを検査し、疑わしい場合はブロックや通知、Defenderポータルへのアラート作成を行うとされています。(Microsoft Learn)

Copilot Studioのエージェントでは、次の点を確認してください。

確認項目
エージェントの所有者部門任せで放置されていないか
利用データSharePoint、Dataverse、外部SaaSなど、どの情報源を参照するか
実行できる操作メール送信、チケット更新、ファイル作成などのアクション権限
メモリや文脈継続的に参照する情報があるか、更新履歴を追えるか
セキュリティ審査公開前にプロンプトインジェクションや過剰権限を確認しているか

「社内向けの小さな便利ボット」でも、業務システムへの接続やツール実行権限を持たせると、攻撃時の影響範囲が一気に広がります。

AI memoryが使えない・見えない時はどこを確認すべきですか?

AI memoryやパーソナライズが使えない、管理画面やユーザー画面で見えない場合は、機能そのものの障害と決めつけず、まず管理設定、ライセンス、ロールアウト状況、対象ユーザーを切り分けます。

Microsoft Security Blogでも、説明されている機能は構成、ライセンス、サービス提供状況に依存すると明記されています。(Microsoft)

確認順序は次の流れがおすすめです。

確認順観点具体的に見ること
1ライセンス対象ユーザーにMicrosoft 365 Copilotなど必要なライセンスが割り当てられているか
2テナント設定管理者がパーソナライズやメモリ関連機能を無効化していないか
3対象範囲全社無効なのか、一部グループだけ無効なのか
4アプリ・入口Teams、Microsoft 365 app、Officeアプリ、ブラウザなど、利用している入口で対応しているか
5ロールアウトテナントやリージョンに機能がまだ展開されていない可能性がないか
6監査・権限管理者がログやeDiscoveryを見られる権限を持っているか
7保持・削除設定eDiscoveryや保持ポリシーが意図しない見え方に影響していないか

Microsoft Learnの「Enhanced personalization control」では、Microsoft 365 Copilotのパーソナライズは管理者が制御でき、無効化するとCopilot memoryのようにそのデータ処理シナリオに依存する機能が使えなくなる場合があると説明されています。(Microsoft Learn)

そのため、ユーザーから「Copilotのメモリが表示されない」「自分だけ使えない」と問い合わせが来た場合は、まず次の3点を確認すると切り分けが早くなります。

  • そのユーザーに必要なCopilotライセンスがあるか
  • 管理者がパーソナライズ関連機能を無効化していないか
  • 同じテナント内の別ユーザーや別アプリでも同じ状態か

監査ログでは何を見ればよいですか?

監査ログでは、AIが何を参照し、いつ操作し、どのアプリやエージェント経由で利用されたかを追えるかが重要です。

Microsoft Learnでは、CopilotやAIアプリケーションに関するユーザー操作や管理者操作は監査ログとして生成され、Copilotが応答生成のためにアクセスしたファイル、サイト、その他リソースへの参照も含まれると説明されています。(Microsoft Learn)

代表的な確認観点は次のとおりです。

ログ観点見る理由
OperationCopilotInteractionなど、どの操作が記録されたか確認する
AppHostTeams、Outlook、Word、Microsoft 365 appなど、どこで使われたか確認する
AgentId / AgentNameどのエージェントが関与したか確認する
AccessedResourcesCopilotが参照したファイル、メール、Teamsメッセージなどを確認する
XPIADetectedクロスプロンプトインジェクションの検出有無を確認する
PolicyDetailsポリシーによって制限・ブロックされたか確認する
MemoryUpdatedメモリ更新イベントを既存の分析やアラートに組み込む

特にAI memory poisoningを意識するなら、単に「Copilotが使われたか」ではなく、メモリがいつ更新され、その直前にどのコンテンツを参照していたかを追える設計が重要です。

eDiscoveryではAI memoryを調査・削除できますか?

Microsoft Learnでは、eDiscoveryとMicrosoft Graph Explorerを使って、対応するアプリやサービスにおけるユーザープロンプト、Microsoft Copilot、その他AIソリューションのデータを検索・削除できると説明されています。機密情報や不適切な内容がAI関連アクティビティに含まれた場合の対応にも使えるとされています。(Microsoft Learn)

Copilot personalization and memoryについては、データソース表の中でIPM.Contactとして示されています。また、Copilot memoriesはeDiscoveryの条件ビルダーでは連絡先として一致し、会話やメッセージを削除しても関連するCopilot memoryは削除されないと説明されています。(Microsoft Learn)

実務上は、次の点に注意してください。

注意点理由
会話削除とメモリ削除は同じではない会話を消しても関連メモリが残る場合がある
権限が必要eDiscovery ManagerやSearch And Purgeなどのロール確認が必要
削除上限がある一度に削除できる件数に制限があるため、大量削除目的ではなくインシデント対応向けとして考える
保持ポリシーの影響を受ける保持や訴訟ホールドがあると削除できない場合がある
検索条件の設計が重要日付、ユーザー、キーワード、アイテムクラスで絞り込む

AI memoryに関する調査では、「ユーザーが何を入力したか」だけでなく、「その結果として何が記憶されたか」「そのメモリが後続の出力に影響したか」を分けて確認する必要があります。

管理者はまず何をすればよいですか?

まず行うべきことは、AI memoryを「個人の便利設定」ではなく、組織のセキュリティ・コンプライアンス対象として棚卸しすることです。

次の順番で確認すると、実務に落とし込みやすくなります。

優先度実施内容具体例
利用状況の把握Microsoft 365 Copilot、Security Copilot、Copilot Studioエージェントの利用者と用途を一覧化する
パーソナライズ設定の確認テナント全体、グループ単位、ユーザー単位で有効・無効を確認する
監査ログの確認CopilotInteraction、AccessedResources、MemoryUpdatedなどを確認できる体制にする
データ権限の棚卸しSharePoint、OneDrive、Teamsの過剰共有を見直す
eDiscovery手順の整備AI関連データの検索・削除手順を文書化する
エージェント審査Copilot Studioエージェントの接続先、権限、実行アクションを確認する
低ではない利用者教育「AIに覚えさせてよい情報」と「覚えさせてはいけない情報」を周知する

特に重要なのは、ログを「取れる状態」にするだけで終わらせないことです。AI memory poisoningのような攻撃は、後から原因を追う必要があります。監査ログを誰が見るのか、どの条件でアラート化するのか、疑わしいメモリをどう削除するのかまで決めておく必要があります。

ユーザーは何に注意すればよいですか?

一般ユーザーは、AI memoryを過度に恐れる必要はありません。ただし、AIが「覚える」可能性のある情報を扱うときは、次の点を意識するべきです。

注意点具体例
機密情報を不用意に覚えさせないパスワード、APIキー、顧客の個人情報、未公開の人事情報など
不自然な指示を含む文書に注意する共有ファイル、外部から受け取った資料、HTMLメールなど
Copilotの回答を鵜呑みにしない「以前のあなたの方針では」といった説明が不自然なら確認する
メモリ管理画面がある場合は見直す不要・誤り・古い情報が記憶されていないか確認する
異常を管理者へ報告する意図しないメール作成、予定表参照、ファイル操作の提案など

ユーザー向けに伝えるなら、「AIに覚えさせる情報は、同僚に長期保存されても困らない内容か」という基準が分かりやすいです。業務効率化のための好みや作業スタイルは有用ですが、秘密情報や一時的な事情はメモリ化に向きません。

AI memory poisoning対策で避けたい失敗は何ですか?

よくある失敗は、「AIの問題」としてアプリ側だけを見てしまうことです。AI memory poisoning対策では、ID、権限、データ保護、監査、インシデント対応を横断して見る必要があります。

失敗しやすい対応なぜ危ないか代わりにすべきこと
Copilotの利用可否だけを見るメモリ、監査、削除の運用が抜ける利用、記憶、参照、削除までの流れを確認する
プロンプト教育だけで済ませる悪意ある指示はユーザーが気づけない形で混入することがある入力検査、権限管理、ログ監視を組み合わせる
全部禁止する業務上の有用なパーソナライズまで失う機密度や部門ごとに制御する
監査ログを保存するだけ異常検知や調査に使えない検索条件、アラート、担当者を決める
エージェント作成を野放しにする部門ごとのボットが過剰権限を持つ可能性がある公開前レビューと定期棚卸しを行う

Microsoftのメモリ安全性に関するガイダンスでも、メモリの書き込み時に意図と出所を確認すること、モデルの指示だけに境界制御を頼らないこと、検索時にも関連性・鮮度・改ざんを評価すること、ライフサイクル全体をログに残すことが重視されています。(Microsoft Learn)

AI memoryを完全に無効化すべきですか?

必ずしも完全無効化が正解ではありません。AI memoryは、ユーザーごとの業務文脈を反映し、CopilotやAIエージェントの有用性を高める重要な機能です。

ただし、次のような場合は無効化や段階展開を検討する価値があります。

状況判断の方向性
機密性の高い部門で運用ルールが未整備まず限定展開にする
監査ログやeDiscoveryの運用がない利用開始前に調査・削除手順を整える
SharePointやTeamsの権限が過剰共有のままデータ権限の棚卸しを優先する
Copilot Studioエージェントが乱立しているエージェント管理と審査を先に行う
ユーザー教育が追いついていない何を記憶させてよいかの基準を周知する

反対に、ログ、権限、ユーザー制御、削除手順が整っている組織では、AI memoryを活用しながらリスクを抑える設計が現実的です。

Microsoft SecurityのAI memory poisoning研究から実務で学ぶべきこと

Microsoft SecurityのAI memory poisoning研究から学ぶべきことは、AI memoryを「AIが賢くなる仕組み」とだけ見ないことです。AI memoryは、ユーザー体験を高める一方で、将来のAIの判断やツール実行に影響する永続的な情報でもあります。

管理者は、まず次の3点を確認してください。

  • 自社でMicrosoft 365 Copilot、Security Copilot、Copilot Studioエージェントがどの範囲で使われているか
  • AI memoryやパーソナライズが、管理ポリシー・ライセンス・対象ユーザーでどう制御されているか
  • メモリ更新、Copilot利用、参照リソース、eDiscovery削除を後から追えるか

AI memory poisoning対策は、単発の設定変更では終わりません。データ権限の整理、監査ログの活用、ユーザー教育、エージェント管理を組み合わせて、AIが「何を覚え、なぜ使ったのか」を説明できる状態にすることが重要です。

この記事を書いた人

実務の現場で詰まりがちなポイントを地図にするITブログ「IT trip」を運営。Windows/Office(Teams・Excel)からSQL、サーバ運用、ガジェットまで、再現性のある手順と“なぜそうなるか”を丁寧に解説します。読んだらすぐ試せること、そして迷った人の次の一歩が見えることを大切にしています。

コメント

コメントする

目次