Microsoft Edgeで社内AIエージェントや業務ポータルを利用している企業にとって、「Public Preview: Image serving in Foundry IQ knowledge bases」は、単なる画像表示の追加ではありません。結論から言うと、Foundry IQのナレッジベースが、PDF、スライド、Officeファイルなどから抽出した図、スクリーンショット、ダイアグラムを、検索・回答時にテキストとあわせて返せるようになるプレビュー機能です。公式更新では、Foundry IQが文書から抽出した画像をクエリ時に提示でき、画像を元のテキスト文脈と一緒に保持して取得結果として返せると説明されています。(Microsoft Azure)
ただし、これはMicrosoft Edgeブラウザ自体のポリシーやUIが大きく変わる更新ではありません。影響の中心は、Microsoft Foundry、Foundry IQ、Azure AI Searchを使って、Edge上で社内ナレッジ検索やAIエージェントを提供している管理者・開発者です。既存のテキスト中心RAGでは拾いにくかった「画面手順」「構成図」「エラー画面」「業務フロー図」まで回答に活用できる可能性がある一方、権限管理、再取り込み、画像の表示設計、プレビュー機能としての扱いは慎重に確認する必要があります。
Microsoft Edgeの「Image serving in Foundry IQ knowledge bases」は何が変わるのか
今回の変更点は、Foundry IQ knowledge basesが、文書から抽出された画像をクエリ時に扱えるようになることです。これまでもRAGやナレッジ検索では、PDFやOffice文書内のテキストを抽出して回答の根拠にする構成が一般的でした。一方で、業務文書にはテキストだけでは意味が伝わらない情報が多く含まれます。
たとえば、次のような情報です。
- 手順書に貼り付けられた管理画面のスクリーンショット
- ネットワーク構成図やシステム構成図
- PowerPoint内の業務フロー図
- PDFマニュアルのボタン位置、警告画面、設定例
- ExcelやWordに埋め込まれた図解、表の画像化部分
今回のプレビューでは、取り込み時にPDF、スライド、Officeファイルから図表、スクリーンショット、ダイアグラムなどが抽出された場合、Foundry IQがそれらを周辺テキストと一緒に保持し、検索結果の一部として返せるようになります。(Microsoft Azure)
テキスト検索だけでは足りなかった場面に効く
従来のテキスト中心のナレッジベースでは、「VPN接続エラー時の画面を見たい」「この設定画面のどこを押せばよいか知りたい」といった質問に弱いケースがありました。文章として説明されていても、実際の操作画面や構成図がないとユーザーが次の行動に移れないためです。
画像提供が有効になると、AIエージェントは回答文だけでなく、該当する図やスクリーンショットを根拠として提示できる可能性があります。Microsoft Edge上で社内チャットボットやヘルプデスクAIを使っているユーザーにとっては、「説明を読む」から「画像を見て判断する」体験に近づきます。
変更前と変更後の違い
理解しやすいように、実務上の違いを整理すると次のようになります。
| 観点 | 変更前の一般的な運用 | 変更後に期待できる動き |
|---|---|---|
| 取得対象 | 主にテキスト、メタデータ、チャンク化された文書内容 | テキストに加えて、文書から抽出された画像も取得候補になる |
| 回答の根拠 | 文書本文や引用箇所が中心 | 図、スクリーンショット、ダイアグラムも根拠として提示しやすくなる |
| 向いている質問 | 定義、規程、手順の文章確認 | 画面操作、構成図確認、図表の説明、トラブルシューティング |
| ユーザー体験 | 文章を読んで操作を想像する | 画像を確認しながら判断・操作できる |
| 管理上の注意点 | テキストの権限、検索精度、引用管理 | 画像に含まれる機密情報、表示権限、再取り込み、UI表示設計も確認が必要 |
重要なのは、画像が表示できるだけで検索品質が自動的に上がるわけではない点です。画像が正しく抽出され、適切なテキスト文脈と結び付けられ、ユーザーの権限に応じて安全に返されることが前提になります。
影響を受ける対象者
Microsoft Edgeで社内AIエージェントを使うエンドユーザー
エンドユーザー側では、Edgeで開いている社内ポータル、Copilot系の業務エージェント、独自のナレッジ検索画面などで、回答と一緒に画像が表示される体験が増える可能性があります。
特に効果が出やすいのは、ITヘルプデスク、社内システムの操作支援、製品サポート、フィールドサービス、教育・研修資料の検索です。
たとえば、ユーザーが「Microsoft 365の多要素認証を再設定する画面はどこですか」と質問した場合、従来は手順の文章だけが返ってきました。今後は、該当する手順書内のスクリーンショットが回答と一緒に表示されれば、ユーザーは迷わず次の操作に進めます。
管理者
管理者が確認すべきポイントは、Edgeの設定そのものよりも、Foundry IQ、Azure AI Search、データソース、認証・権限設計です。
Foundry IQは、構成可能なマルチソースのナレッジベースを作成し、エージェントが組織データに基づいてアクセス許可に対応した応答を返せるようにする仕組みです。ナレッジベースはナレッジソースと取得動作のパラメーターで構成され、複数のエージェントで共有できます。(Microsoft Learn)
そのため、画像提供機能を試す前に、以下を確認する必要があります。
- 画像を含む文書がどのナレッジソースから取り込まれているか
- PDF、PowerPoint、Wordなどの対象ファイルが想定どおり処理されているか
- 画像に個人情報、認証情報、ネットワーク構成、顧客情報が写っていないか
- ユーザーごとのアクセス権限が画像にも適用される設計になっているか
- プレビュー機能を本番用途にそのまま使わない運用ルールになっているか
Azure Updatesでは、In previewはすべてのAzure顧客が非本番用途のテストに利用できる状態として説明されています。(Microsoft Azure) 本番システムへ即時展開するのではなく、検証環境での評価から始めるのが安全です。
開発者
開発者にとっては、取得結果に画像が含まれる前提で、フロントエンドとAPI処理を見直す必要があります。
特に、Edge上で表示するWebアプリやチャットUIでは、次のような実装確認が必要です。
- 取得結果に画像URL、画像ID、参照元情報などが含まれる場合の表示処理
- 画像が返らない場合のフォールバック表示
- 回答文と画像の対応関係をユーザーが理解できるUI
- モバイル表示や小さな画面での拡大・プレビュー
- 画像取得時の認証、期限付きURL、キャッシュ制御
- 監査ログに画像参照が残るかどうか
回答文だけを前提にした既存UIでは、画像が返ってもユーザーにうまく見せられない可能性があります。開発者は「検索結果に画像が含まれる」だけでなく、「画像を見たユーザーが次に何をすべきか分かる」表示にすることが重要です。
管理者が最初に確認すべき設定と構成
Foundry IQのナレッジベース構成
まず確認すべきなのは、対象のナレッジベースがどのナレッジソースを参照しているかです。Microsoft Learnでは、Azure AI Searchのナレッジベースはエージェント検索を調整する最上位オブジェクトであり、どのナレッジソースを検索するか、取得処理の既定動作を定義すると説明されています。(Microsoft Learn)
確認項目は次のとおりです。
| 確認項目 | 見るべきポイント |
|---|---|
| ナレッジソース | Blob Storage、SharePoint、OneLakeなど、画像を含む文書が実際に対象になっているか |
| ファイル形式 | PDF、PPTX、DOCXなど、図やスクリーンショットを含むファイルが取り込まれているか |
| 取り込み状態 | 直近のインデックス更新でエラーや警告が出ていないか |
| 権限 | 文書単位、サイト単位、ユーザー単位のアクセス制御が期待どおりか |
| 取得結果 | テストクエリで画像付きの結果が返るか |
既存のナレッジベースに対して過去に取り込んだ文書が、何もしなくてもすべて画像提供に対応するとは限りません。公式仕様やポータル表示を確認し、必要に応じて再取り込み、インデクサー再実行、ナレッジソース再作成を検討してください。
Azure AI Search側の画像処理
画像を検索・取得に活用する構成では、Azure AI Search側の画像処理も理解しておくと判断しやすくなります。Azure AI Searchでは、画像コンテンツをリアルタイムに直接検索するのではなく、インデックス作成時に画像の情報を抽出し、検索可能な形にする考え方が説明されています。画像の扱いには、画像のベクトル化、LLMによる画像の言語化、画像分析、OCRなどの方法があります。(Microsoft Learn)
独自にマルチモーダル検索パイプラインを設計している場合は、以下の点を確認してください。
- 画像の抽出方式は既定抽出か、Azure Document Intelligenceを使う拡張抽出か
- 画像を自然言語で説明して埋め込む「image verbalization」を使うか
- 画像とテキストを直接マルチモーダル埋め込みにするか
- 利用するモデル、リージョン、課金、処理時間が要件に合うか
Azure AI Searchのクイックスタートでは、コンテンツ抽出の方法として既定抽出とAzure Document Intelligence in Foundry Toolsによる拡張抽出が示され、画像の埋め込み方法として、LLMで画像説明を生成してテキストとともにベクトル化する方法と、テキスト・画像を直接ベクトル化する方法が紹介されています。(Microsoft Learn)
権限と機密情報
画像提供で最も見落としやすいのが、画像内の機密情報です。文章の本文には出てこない情報でも、スクリーンショットには表示されていることがあります。
たとえば、次のような情報です。
- 管理画面に表示されたユーザー名やメールアドレス
- 内部URL、IPアドレス、サーバー名
- 顧客名、契約番号、問い合わせ番号
- APIキーや認証トークンの一部
- 非公開の組織図、ネットワーク構成図、セキュリティ設計
Foundry IQはユーザーのアクセス許可を尊重する設計が説明されていますが、管理者は「そのユーザーが元文書を見られるか」だけでなく、「その画像をAI回答内で見せてもよいか」まで確認する必要があります。Foundry IQの製品ページでも、ドキュメントレベルのACL同期やクエリ時のトリミングによりユーザーアクセスを優先すると説明されています。(Microsoft Azure)
開発者が確認すべき実装ポイント
回答UIは「画像あり」を前提に見直す
画像が取得できても、UIがテキスト専用のままだと価値を活かせません。特にEdgeで利用する社内Webアプリでは、次のような表示設計が必要です。
| UI要素 | 実装時の判断基準 |
|---|---|
| サムネイル | 回答内に小さく表示し、クリックで拡大できるようにする |
| 画像の説明 | AIが生成した説明文だけに依存せず、元文書名やページ情報も表示する |
| 引用元 | 画像がどの文書・どのページ・どのセクション由来か分かるようにする |
| 権限エラー | 画像が取得できない場合は「表示権限がない」「画像を取得できない」など理由を分ける |
| 印刷・共有 | 画像付き回答をコピー・共有した場合の情報漏えいを考慮する |
特に業務アプリでは、回答の正しさだけでなく、監査可能性が重要です。「この画像をどの文書から取得したのか」が分からないUIは、運用時の問い合わせやセキュリティレビューで問題になりやすいです。
プロンプトと回答設計も変える
画像を取得できるようになると、プロンプト設計も変える必要があります。従来のように「根拠文書を引用して回答してください」だけでは、画像を適切に使わない可能性があります。
たとえば、次のような指示を検討します。
- 操作手順を説明する場合は、関連するスクリーンショットがあれば提示する
- 構成や依存関係を説明する場合は、図やダイアグラムの有無を確認する
- 画像だけでは判断できない場合は、周辺テキストもあわせて説明する
- 画像の内容を推測しすぎず、見えている範囲と文書内の説明を分けて回答する
画像は強力な根拠になりますが、AIが画像の意味を過剰に解釈すると誤回答につながります。開発者は、画像、周辺テキスト、引用元を組み合わせて回答する設計にするのが現実的です。
展開前の検証チェックリスト
プレビュー機能を評価する際は、いきなり全社展開するのではなく、用途を絞って検証するのがおすすめです。
| 検証項目 | 確認すること | 合格基準の例 |
|---|---|---|
| 取り込み | 対象文書から画像が抽出されるか | 代表的なPDF、PPTX、DOCXで画像が取得できる |
| 文脈 | 画像が正しい周辺テキストと結び付くか | 手順文と対応するスクリーンショットがずれない |
| 権限 | 権限のない画像が表示されないか | ユーザー権限ごとに表示結果が分かれる |
| 回答品質 | 画像付き回答が実務に役立つか | ユーザーが追加検索なしで次の操作に進める |
| UI | Edge上で見やすく表示されるか | 拡大、スクロール、モバイル表示で破綻しない |
| 監査 | 画像の参照元を追跡できるか | 文書名、ページ、取得ログを確認できる |
| コスト | 画像処理で費用や処理時間が増えすぎないか | 検証範囲の処理量で予算内に収まる |
| 運用 | 失敗時の問い合わせ先が明確か | 管理者、開発者、データ所有者の役割が分かれている |
最初の検証対象は、画像の価値が明確な文書に絞ると効果を判断しやすくなります。たとえば、社内システムの操作マニュアル、ネットワーク構成図、製品セットアップ手順、障害対応Runbookなどです。
失敗しやすいポイント
画像が多い文書をそのまま取り込んでしまう
スライド資料やマニュアルには、装飾画像、ロゴ、アイコン、意味の薄いスクリーンショットが大量に含まれることがあります。これらが検索結果に混ざると、回答品質が下がる原因になります。
検証時は、画像を含む文書をすべて投入するのではなく、「回答に使われるべき画像」と「不要な画像」を分けて評価してください。特に、ロゴや表紙画像が高頻度で返る場合は、取り込み設定やメタデータ設計の見直しが必要です。
古いスクリーンショットが正解として返る
業務システムのUIは更新されます。古い手順書に含まれるスクリーンショットが返ると、ユーザーは現在の画面と違って混乱します。
対策として、次の運用を決めておくと安全です。
- 手順書には更新日と対象バージョンを入れる
- 旧版文書はナレッジソースから除外する
- 画面変更が多いシステムは定期的に再取り込みする
- 回答UIに文書の更新日を表示する
画像内の文字を過信する
画像に含まれる文字は、OCRや画像説明の精度に左右されます。小さい文字、ぼやけたスクリーンショット、複雑な表、斜めに撮影された画像では誤認識が起きる可能性があります。
重要な数値、設定値、コマンド、契約条件などは、画像だけでなく本文テキストとしても文書内に残しておくのが実務上のベストプラクティスです。
プレビュー機能を本番前提で設計してしまう
今回の機能はPublic Previewです。Azure Updatesのステータス説明でも、プレビューは非本番用途のテスト向けとして位置付けられています。(Microsoft Azure)
そのため、次のような設計は避けるべきです。
- 画像提供を前提にした本番ヘルプデスクをいきなり開始する
- 画像が返らない場合の代替導線を用意しない
- 監査や権限レビューを省略する
- プレビューAPIや仕様が変わらない前提で実装を固定する
本番利用を見据える場合でも、まずは限定ユーザー、限定文書、限定シナリオで評価し、仕様変更に対応できる余地を残しておきましょう。
Microsoft Edge環境で確認しておきたいこと
今回の更新はEdgeのブラウザ機能そのものではありませんが、Edge上でAIエージェントやナレッジ検索画面を提供している場合は、ブラウザ側の体験も確認が必要です。
特に、企業管理されたEdgeでは、画像表示、外部リソース、認証、ダウンロード、キャッシュ、ポップアップ、拡張機能の制御などがポリシーで制限されている場合があります。画像が取得できているのに画面上では表示されない場合、Foundry IQやAzure AI Searchだけでなく、Edgeの管理ポリシー、ネットワーク制限、プロキシ、条件付きアクセスも確認してください。
確認すべき具体例は次のとおりです。
- 社内ネットワーク外から画像が表示されるか
- 条件付きアクセス適用時に画像参照がブロックされないか
- 画像URLが別ドメインの場合、企業プロキシやCSPで遮断されないか
- InPrivateやゲストプロファイルで表示差異が出ないか
- VDIやリモートワーク環境で画像表示が遅すぎないか
ユーザーから見ると、「AIが画像を出してくれない」という問い合わせになりますが、原因はデータ取り込み、権限、API、Edgeポリシー、ネットワークのどこにでもあり得ます。検証時は、管理者と開発者が同じテストケースを使って切り分けられるようにしておくと、展開後のトラブル対応が楽になります。
実務でおすすめの進め方
まずは、画像が業務成果に直結するユースケースを1つ選びます。おすすめは、社内ヘルプデスクの操作手順、製品サポートのセットアップマニュアル、IT運用の障害対応手順です。
次に、対象文書を10〜30件程度に絞り、テキストのみの回答と画像付き回答を比較します。このとき、検索精度だけでなく、ユーザーが回答を見て実際に作業を完了できるかを確認してください。
最後に、権限、更新運用、UI、ログ、コストを確認し、問題が少ない範囲から段階的に展開します。
| フェーズ | やること | 判断ポイント |
|---|---|---|
| 検証準備 | 画像が重要な文書を選定する | 画像がないと回答しにくい業務か |
| 技術検証 | 取り込み、取得、表示を確認する | 画像と文脈が正しく結び付くか |
| セキュリティ確認 | 権限、機密情報、ログを確認する | 見せてはいけない画像が返らないか |
| ユーザー評価 | 実際の利用者に試してもらう | 作業時間や問い合わせ削減に効くか |
| 段階展開 | 限定チームから拡大する | 運用負荷と効果のバランスが取れるか |
まとめ：画像付きナレッジ検索は便利だが、権限と運用設計が鍵になる
「Public Preview: Image serving in Foundry IQ knowledge bases」は、Foundry IQのナレッジベースが、文書内の画像を回答時に活用しやすくする重要な更新です。Microsoft Edgeで社内AIエージェントやナレッジ検索を利用している環境では、ユーザーが手順書や構成図を見ながら判断できるようになり、ヘルプデスク、運用、サポート、教育の効率化が期待できます。
一方で、プレビュー機能であること、画像内に機密情報が含まれやすいこと、既存UIや権限設計が画像表示に対応していない可能性があることには注意が必要です。
管理者と開発者は、まず対象文書を限定し、画像抽出、権限、Edge上の表示、監査ログ、再取り込みの要否を確認してください。特に本番展開を急ぐのではなく、「どの業務で画像付き回答が本当に役立つか」を検証することが、失敗しない導入の近道です。
コメント