Azure DatabricksがOneLakeへ直接保存対応|Public Previewの変更点と確認事項

2026年6月17日のAzure Updatesで、Azure DatabricksからUnity CatalogのマネージドテーブルをMicrosoft OneLakeへ直接保存する機能がPublic Previewとして案内されました。

これにより、Azure Databricksでデータを処理しながら、Microsoft Fabricの共通データレイクであるOneLakeを一次保存先として利用できます。ADLS Gen2に保存したデータをFabricへ複製したり、転送パイプラインを構築したりする必要を減らせる点が大きな変更です。

ただし、既存テーブルが自動的にOneLakeへ移動するわけではありません。利用にはDatabricks Runtime 18.1以上またはサーバーレスコンピューティング、Unity Catalog、容量が割り当てられたFabricワークスペースなどが必要です。また、権限管理にはPublic Preview特有の重要な制約があります。まずは専用の検証環境で、アクセス制御・料金・性能を確認するのが安全です。(Microsoft Azure)

目次

Azure DatabricksのPublic Previewで何が変わったのか

今回の変更では、Unity Catalogの外部ロケーションとしてOneLakeを指定できるようになりました。

OneLake上に「Azure Databricks Storage」アイテムを作成し、その保存先をUnity Catalogのマネージドロケーションとして設定します。以降、そのカタログやスキーマに作成した新しいマネージドテーブルなどは、OneLakeへ直接保存されます。

項目従来の一般的な構成今回のPublic Preview
主な保存先ADLS Gen2などMicrosoft OneLakeを選択可能
Fabricとの共有ミラーリングや転送処理を利用OneLakeを一次保存先として利用可能
Unity Catalogによる管理対応引き続き対応
既存テーブルADLS Gen2などに保存自動移動しない
利用形態一般提供済みの機能を中心に構成管理者が有効化するプレビュー機能

Microsoft Learnでは、本機能によってDeltaまたはIcebergのマネージドテーブル、ボリューム、ビュー、マテリアライズドビュー、ストリーミングテーブルを扱えると説明されています。ビューはデータ本体ではなく定義を管理するオブジェクトであるため、すべてのオブジェクトが同じ方法で物理データを保存するわけではありません。(Microsoft Learn)

なお、Azure Updatesでは「Public Preview」、Azure Databricksのドキュメントでは「Beta」と表記されています。いずれも一般提供前の機能を指しているため、仕様が固定された本番機能として扱わないことが重要です。アクセスはAzure Databricksワークスペース管理者が「Previews」ページから制御します。(Microsoft Learn)

OneLakeの読み取りやFabricへの公開とは別の機能

Azure DatabricksとMicrosoft Fabricの連携には、似た名称の機能が複数あります。今回追加されたのは、Azure DatabricksがOneLakeを直接の保存先として使用する機能です。

機能主なデータの向き用途書き込み
OneLakeカタログフェデレーションOneLakeからDatabricks既存のOneLakeデータをDatabricksで参照する読み取り中心
OneLake外部ロケーションDatabricksからOneLakeUnity CatalogのマネージドデータをOneLakeへ直接保存するDatabricksから可能
Publish to FabricDatabricksからFabricへ公開Unity CatalogのテーブルをFabricから検索・参照できるようにするFabric側のミラーテーブルは読み取り専用

OneLakeカタログフェデレーションは「OneLakeにある既存データをAzure Databricksから読む」ための機能です。今回のPublic Previewは反対に、「Azure Databricksが作成するデータをOneLakeに書く」ための機能です。

Publish to Fabricは、Unity CatalogのカタログをFabricへ公開する関連機能です。公開されたテーブルはFabric側では読み取り専用となり、更新処理はAzure Databricksから実行します。保存先がOneLakeかADLS Gen2かにかかわらず利用できるため、今回のネイティブ保存機能とは分けて考える必要があります。([Microsoft Fabric Community][3])

影響を受けるユーザーと管理者

今回の変更による影響が大きいのは、Azure DatabricksとMicrosoft Fabricを併用している組織です。

導入効果を得やすいケース

次のような環境では、検証する価値があります。

  • Azure Databricksで加工したデータをFabric、Power BI、Fabricノートブックなどでも利用している
  • ADLS Gen2からFabricへのコピー処理や同期処理を運用している
  • Databricks用とFabric用に同じデータを重複保存している
  • データの保存先をOneLakeへ集約したい
  • Unity Catalogの管理機能を維持しながらFabricとの連携を強化したい

OneLakeを一次保存先にすることで、Azure DatabricksとFabricが同じデータを利用しやすくなります。データコピーや転送パイプラインを減らせる可能性があるため、処理の遅延、障害点、重複ストレージの削減につながります。([Microsoft Fabric Community][3])

すぐには影響しないケース

次の環境は、Public Previewを有効にしない限り基本的に変更されません。

  • Azure Databricksだけを利用し、Microsoft Fabricを利用していない
  • ADLS Gen2を今後も主な保存先として使用する
  • OneLake上のデータを読み取るだけでよい
  • 既存のUnity Catalogテーブルをそのまま運用する
  • ワークスペース管理者がプレビュー機能を有効にしていない

今回の機能は任意で導入する保存先の選択肢です。既存のADLS Gen2構成が廃止されたり、OneLakeへの切り替えが強制されたりする変更ではありません。

導入前に確認すべき要件

Azure Databricks側だけで設定を完結できる機能ではありません。Fabric管理者、Databricks管理者、AzureのID管理者が連携して準備する必要があります。

確認項目必要な内容
プレビュー機能Azure Databricksの「Previews」ページで利用を許可
コンピューティングDatabricks Runtime 18.1以上、またはサーバーレス
Unity Catalog対象ワークスペースで有効化済み
Fabricワークスペース有効な容量が割り当てられている
Fabricテナント設定Users can create Azure Databricks Storage itemsを有効化
Fabricワークスペース設定Authenticate with OneLake user-delegated SAS tokensを有効化
認証用IDAccess ConnectorのマネージドID、またはサービスプリンシパル
Unity Catalog権限CREATE STORAGE CREDENTIALとCREATE EXTERNAL LOCATION
Fabricロール対象IDにAdministrator、Member、Contributorのいずれかを付与

Databricks Runtime 18.0以前のクラスターでは利用要件を満たしません。既存ジョブで試す場合は、ランタイムを更新したうえでライブラリ互換性や処理結果を確認してください。(Microsoft Learn)

最重要の注意点はFabricワークスペースの権限

Public Previewを本番データで試す前に、必ず確認したいのがFabric側のアクセス制御です。

公式ドキュメントによると、Fabricワークスペース内のAzure Databricks Storageアイテムへのアクセスは、割り当てたマネージドIDだけに制限されません。FabricワークスペースでMember、Contributor、Administratorのいずれかを持つプリンシパルは、Unity Catalogで権限を付与されていなくても、保存データを読み取り、書き込み、削除できる可能性があります。(Microsoft Learn)

そのため、Unity Catalogだけを確認して「アクセス制御が完了した」と判断するのは危険です。検証時でも、次の構成を推奨します。

  • Azure Databricks Storageアイテム専用のFabricワークスペースを作成する
  • Member、Contributor、Administratorを必要最小限にする
  • 一般ユーザーや広範囲なサービスプリンシパルを追加しない
  • Power BIレポートや利用者向けLakehouseなどと同じワークスペースに置かない
  • FabricとUnity Catalogの両方で権限棚卸しを実施する
  • 誤削除を想定し、復旧手順と監査方法を先に決める

この制約が解消されるまでは、OneLakeの保存先ワークスペースを通常の共同作業用ワークスペースとして扱わないほうが安全です。

OneLakeへ直接保存する設定手順

実際の設定は、次の流れで行います。

プレビュー機能を有効にする

Azure Databricksのワークスペース管理者が「Previews」ページを開き、対象機能へのアクセスを有効にします。

本番ワークスペースへ直接適用せず、検証用ワークスペースで先に有効化してください。

Fabricに専用ワークスペースを用意する

容量が割り当てられたFabricワークスペースを用意し、可能であればAzure Databricks Storage専用にします。

Azure DatabricksのAccess Connectorに関連付けたマネージドID、またはサービスプリンシパルをワークスペースへ追加し、必要なロールを割り当てます。

Azure Databricks Storageアイテムを作成する

FabricワークスペースにAzure Databricks Storageアイテムを作成します。

作成後、FabricのブラウザーURLなどからワークスペースIDとストレージアイテムIDを確認し、次の形式でABFSSパスを組み立てます。

abfss://<WorkspaceID>@onelake.dfs.fabric.microsoft.com/<DatabricksStorageID>/Files/

表示名ではなく、GUID形式のIDを使用しなければなりません。また、パス末尾の/Files/が抜けると接続に失敗する可能性があります。(Microsoft Learn)

Unity Catalogにストレージ資格情報を作成する

Azure DatabricksのCatalog Explorerでストレージ資格情報を作成します。

マネージドIDを使用する場合は、Azure Databricks Access ConnectorのリソースIDを指定します。ユーザー割り当てマネージドIDを使用している場合は、そのIDも確認してください。

OneLake外部ロケーションを作成する

Catalog Explorerから外部ロケーションを作成し、ストレージの種類としてOneLakeを選択します。

作成したストレージ資格情報と、GUIDベースのABFSSパスを指定します。作成後は「Test connection」で接続を確認します。

接続テストで「Skipped file events read」に相当する警告が表示されることがあります。OneLakeパスではファイルイベント通知がまだサポートされていないため、この警告だけで接続失敗と判断する必要はありません。(Microsoft Learn)

OneLakeを保存先とするカタログを作成する

作成した外部ロケーションを、カタログのマネージドロケーションとして設定します。

CREATE CATALOG analytics_onelake
MANAGED LOCATION
'abfss://<WorkspaceID>@onelake.dfs.fabric.microsoft.com/<DatabricksStorageID>/Files/';

このカタログ内に新しいマネージドテーブルを作成すると、データは指定したOneLakeの保存先へ配置されます。最初は小規模な検証用テーブルを作り、読み取り、追加、更新、削除、権限変更まで確認してください。(Microsoft Learn)

設定で失敗しやすいポイント

403 Forbiddenが表示される

主に次の2点を確認します。

  • マネージドIDまたはサービスプリンシパルに、Fabricワークスペースの適切なロールがあるか
  • 対象Fabricワークスペースに有効な容量が割り当てられているか

Unity Catalogの権限だけを修正しても、Fabric側のロールや容量に問題があれば解決しません。

外部ロケーションを作成できない

ABFSSパスを確認します。

  • ワークスペース名ではなくワークスペースIDを使っているか
  • アイテム名ではなくAzure Databricks StorageアイテムIDを使っているか
  • ホスト名がonelake.dfs.fabric.microsoft.comになっているか
  • 末尾に/Files/があるか
  • 対象のストレージ資格情報を選択しているか

特に、表示名を使ったパスは作成時に拒否されるため注意が必要です。(Microsoft Learn)

ファイルイベントの警告が消えない

現時点では、OneLakeパスでファイルイベント通知がサポートされていません。接続テストで該当警告だけが表示されている場合、外部ロケーション自体は正常に機能している可能性があります。

ただし、ファイルイベントを前提とした自動取り込みや監視処理を使用している場合は、実際のジョブで動作を検証してください。(Microsoft Learn)

既存テーブルは自動移行されない

OneLakeをカタログやスキーマの新しいマネージドロケーションとして設定しても、既存のマネージドテーブルやボリュームは移動しません。

ALTER CATALOG SET MANAGED LOCATIONまたはALTER SCHEMA SET MANAGED LOCATIONによる変更が適用されるのは、変更後に新しく作成するマネージドテーブルとボリュームです。既存オブジェクトは元の保存先に残ります。(Microsoft Learn)

そのため、既存環境では次のような段階移行が現実的です。

  1. 現在のカタログ、スキーマ、テーブル、保存先を一覧化する
  2. OneLakeを保存先とする新しい検証用カタログを作成する
  3. 小規模なテーブルを新しいカタログへコピーする
  4. 行数、スキーマ、NULL、重複、テーブルプロパティを比較する
  5. 読み取りと書き込みの性能を測定する
  6. ジョブ、SQL Warehouse、Power BIなどの参照先を洗い出す
  7. 切り戻し方法を用意してから利用者を切り替える

データのコピー方法としてCTASやクローンなどを検討できますが、テーブル履歴、ストリーミングの状態、制約、権限まで同じ形で移行できるとは限りません。単純な行数比較だけでなく、タイムトラベルへの依存、増分処理のチェックポイント、マテリアライズドビューなども個別に検証してください。

既存カタログの保存先をその場で変更するより、新しいOneLake用カタログを作成して段階的に切り替えるほうが、保存先を判別しやすく、切り戻しも行いやすくなります。

更新が必要なコンポーネント

Public Previewを利用するために、Azure Databricks全体を一斉更新する必要はありません。ただし、対象処理ではDatabricks Runtime 18.1以上、またはサーバーレスコンピューティングが必要です。

既存クラスターを更新する場合は、次の項目を確認します。

  • インストール済みライブラリが新しいランタイムに対応しているか
  • SparkやDelta関連の動作差がないか
  • JDBCやODBCなどの接続処理に影響がないか
  • ジョブクラスターと対話型クラスターの両方を更新したか
  • 開発、検証、本番の順で段階的に反映したか

OneLake対応だけを目的に本番クラスターを直接更新せず、既存処理の回帰テストとセットで進めてください。

料金で確認すべきポイント

Public Previewだから無料になるわけではありません。少なくとも、Azure Databricksのコンピューティング、Fabric容量、OneLakeストレージとトランザクションの各費用を分けて確認する必要があります。

費用項目主な発生要因確認ポイント
Azure Databricksクラスターやサーバーレス処理の実行DBU、仮想マシン、ジョブ実行時間
Fabric容量FabricワークスペースやOneLake操作容量サイズ、CU使用量、停止時間
OneLakeストレージ保存データ量GB単位の利用量、削除済みデータ
OneLakeトランザクションデータの読み取りや書き込みファイル数、処理頻度、読み書き量
移行期間の一時費用新旧保存先の併存やコピー処理重複保存期間、検証ジョブの実行回数

OneLakeストレージは、使用したデータ量に応じた従量課金です。ストレージ容量自体はFabric Capacity Unitsを消費しませんが、OneLakeへの読み取りや書き込みなどの操作はCUを消費します。また、論理削除されたデータも保存中は課金対象になるため、移行テストを繰り返す際は注意が必要です。(Microsoft Learn)

Fabric Capacity MetricsアプリのStorageタブや、ワークスペース設定にあるOneLakeストレージレポートを使うと、容量単位とアイテム単位で使用量を確認できます。導入前後の比較では、ストレージ料金だけでなく、コピー処理の削減量、OneLakeトランザクション、Databricksジョブの実行時間も併せて測定してください。(Microsoft Learn)

移行期限や強制切り替えはあるのか

2026年6月17日時点の案内では、既存のADLS Gen2環境をOneLakeへ移行する期限や、従来構成の廃止期限は示されていません。

本機能は管理者が有効化するPublic Previewであり、既存テーブルも自動移行されません。そのため、現在の環境を急いで変更する必要はありません。(Microsoft Learn)

ただし、一般提供までに要件、権限モデル、対応オブジェクト、課金方法が変わる可能性があります。本番導入を判断する際は、Azure Updatesだけでなく、Microsoft LearnのOneLake外部ロケーション設定ページとAzure Databricksのリリースノートも再確認してください。

よくある疑問

OneLake対応後はADLS Gen2を使えなくなる?

ADLS Gen2は引き続き利用できます。OneLakeはUnity Catalogの保存先として追加された選択肢であり、すべてのカタログを一括で移行する必要はありません。

ワークロード単位でADLS Gen2とOneLakeを使い分ける構成も可能です。

設定を有効にすると既存テーブルもOneLakeへ移る?

移りません。マネージドロケーションを変更しても、変更後に作成した新しいテーブルやボリュームが対象です。既存テーブルには別途移行作業が必要です。(Microsoft Learn)

OneLakeに保存すればFabricから自動的に参照できる?

保存とFabricへのカタログ公開は別の処理です。Fabricの各ワークロードからUnity Catalogテーブルとして利用したい場合は、Publish to Fabricなどの構成も確認します。

Publish to Fabricで作成されるミラーテーブルはFabric側では読み取り専用です。データの更新はAzure Databricksから行います。([Microsoft Fabric Community][3])

本番環境ですぐ利用してもよい?

技術的に利用できても、まず検証環境で試すべきです。特にFabricワークスペースのMember、Contributor、AdministratorがUnity Catalogの付与状況にかかわらずデータへアクセスできる制約は、セキュリティ設計に直接影響します。

厳格な職務分離、監査、規制対応が必要な環境では、権限モデルが要件を満たすかを確認してから採用してください。

まず実施すべき確認作業

今回のPublic Previewの価値は、Azure DatabricksとMicrosoft Fabricが単一のOneLakeデータを利用しやすくなることです。一方、既存データの自動移行機能ではなく、Fabric側のアクセス権限にも重要な制約があります。

導入を検討する場合は、次の順序で進めると安全です。

  1. DatabricksとFabric間で重複しているデータや転送処理を洗い出す
  2. Azure Databricks Storage専用のFabricワークスペースを作成する
  3. Fabricワークスペースの管理ロールを必要最小限にする
  4. Databricks Runtime 18.1以上またはサーバーレスで検証する
  5. OneLakeを保存先とする小規模なカタログを新規作成する
  6. 権限、読み書き、障害復旧、性能、料金を測定する
  7. 既存テーブルは自動移行されない前提で段階移行を計画する

既存の本番カタログをすぐに変更するのではなく、用途を限定した新しいカタログから試すことが、今回のPublic Previewを安全に評価する最も現実的な方法です。
[3]: https://community.fabric.microsoft.com/t5/Fabric-Updates-Blog/Extending-interoperability-Azure-Databricks-can-now-store-Unity/ba-p/5199741 “
Extending interoperability: Azure Databricks can n… – Microsoft Fabric Community
“

この記事を書いた人

実務の現場で詰まりがちなポイントを地図にするITブログ「IT trip」を運営。Windows/Office(Teams・Excel)からSQL、サーバ運用、ガジェットまで、再現性のある手順と“なぜそうなるか”を丁寧に解説します。読んだらすぐ試せること、そして迷った人の次の一歩が見えることを大切にしています。

コメント

コメントする

目次