Databricks「Delta Live Tables(Lakeflow ETL Pipelines)」が表示されない時の原因と解決策|US East・Unity Catalog・サーバレス対応まで徹底解説

Databricks のサイドバーに「Delta Live Tables(現 Lakeflow ETL pipelines)」が見当たらない――そんな時に確認すべき項目と具体的な解決手順を、管理者・開発者の双方の視点で体系化しました。US East リージョンかつ Premium 版の前提で、名称変更後の UI で迷わないためのチェックリスト、権限設定の例、作成時のコツまで一気通貫で解説します。

目次

症状と背景:なぜメニューが「見えない」のか

2025 年以降、従来の Delta Live Tables は Lakeflow Declarative Pipelines に名称変更され、ワークスペースの UI では ETL pipelines と表示されます。名称が変わっただけでコア機能は継承されているため、メニューを「Delta Live Tables」で探していると見つからないケースが多発します。

さらに、プレビュー機能のトグル、Unity Catalog(以下 UC)やサーバレス Compute の有効化、そして権限(カタログ/スキーマ/ボリューム作成権や Compute 作成権)が満たされていない場合、UI に項目が出現しない・作成ウィザードが古いまま等の事象が起きます。本記事では、これらの前提を順序立てて確認し、最短でメニューを表示させるための実務的な手順を提示します。

まず最初に行う「2 ステップ」

ステップ 1:名称変更の確認

  • 左サイドバーに ETL pipelines というメニューがあるか確認します(旧名:Delta Live Tables)。
  • サイドバーに見つからない場合は、Jobs & Pipelines を開き、右上の切り替えや作成導線の中に「Pipelines」相当の UI が統合されていないかを見ます。

ステップ 2:プレビュー機能トグルの確認

Lakeflow UI は、ワークスペースのプレビュー機能トグルによって表示が切り替わることがあります。以下のいずれかの方法で有効化します。

  1. 方法 A(推奨):右上の Profile ▸ Previews を開き、Lakeflow Pipelines Editor を ON にします。
  2. 方法 B:Settings ▸ Developer に移動し、同じく Lakeflow Pipelines Editor を ON にします。

トグル変更後は、ブラウザのキャッシュをクリアするかシークレットウィンドウ/別ブラウザで再ログインすると、メニューが表示されることがあります。

前提条件チェックリスト(US East/Premium 前提)

次の前提条件が満たされていない場合、メニューが出ない・作れない・保存できないなどの症状につながります。表の「確認場所」を辿って、順番に確認してください。

必須項目概要確認場所想定状態
Unity Catalog 有効ワークスペースで UC を有効化Workspace Settings(管理者)ON
サーバレス Compute 有効アカウント単位の有効化。リージョンによっては提供段階が異なるAccount Console(管理者)有効(US East 対応)
Compute 権限Compute の作成/利用権限を保有Workspace Permissions/IAM許可済み
カタログ作成権限USE CATALOG + CREATE SCHEMAUC(Catalog/Schema 権限)付与済み
ボリューム作成権限USE SCHEMA + CREATE VOLUMEUC(Schema 権限)付与済み

セルフチェック用テンプレート

項目期待値確認場所実際(記入欄)
Lakeflow Pipelines EditorONProfile ▸ Previews / Settings ▸ Developer
UC 有効ONWorkspace Settings
サーバレス Compute利用可Account Console
Compute 作成権限ありWorkspace Permissions
UC 権限(Catalog/Schema/Volume)付与済みUC 権限タブ

メニューが出ないままのときの「最短導線」

上記トグルと前提条件を満たしているのに見えない場合は、以下の手順で作成導線から入ると解決することがあります。

  1. 左サイドバー ▸ Jobs & Pipelines を開く。
  2. Create ▸ Job を選択。
  3. タスク編集画面の右上にある Lakeflow Jobs UI を ON に切り替える。

これにより、新 UI に統合されたパイプライン作成フローへ移行できます。以降は同じ UI からパイプラインの定義・実行・モニタリングを行えます。

リージョン制約(US East)の考え方

サーバレス Lakeflow にはリージョン制約があり、対象外のリージョンでは関連 UI が出現しないことがあります。ワークスペースの表示が古い/出ない要因がリージョンに起因している可能性があるため、アカウント管理者に以下を確認してください。

  • アカウントレベルでサーバレス機能が有効になっているか。
  • ワークスペースの 正確なリージョン(US East には複数の候補があり、アカウント契約・設置先によって取り扱いが異なることがあります)。
  • Lakeflow 関連のプレビュー/早期アクセス設定がワークスペースに適用済みか。

リージョン上の理由でサーバレス Lakeflow が使えない場合でも、メニューが現れない・作れない問題を回避するための選択肢として、非サーバレスの Compute を使用してパイプラインを構成する、あるいは Jobs のオーケストレーションで同等の処理を段階的に組むといった暫定策も有効です。

権限設定の実務:最小権限の付与例

Lakeflow のパイプラインは UC 上のオブジェクト(カタログ/スキーマ/ボリューム)を作成・更新します。権限不足だとウィザードは進んでも保存・実行でエラーになります。以下は UC の代表的な付与例です(管理者が実行)。

-- カタログ作成・使用
GRANT CREATE CATALOG ON METASTORE TO `<グループまたはユーザー>`;
GRANT USE CATALOG ON CATALOG `<対象カタログ>` TO `<グループまたはユーザー>`;

-- スキーマ作成・使用
GRANT CREATE SCHEMA ON CATALOG `<対象カタログ>` TO `<グループまたはユーザー>`;
GRANT USE SCHEMA ON SCHEMA `<対象カタログ>`.`<対象スキーマ>` TO `<グループまたはユーザー>`;

-- ボリューム作成(ファイル出力などに利用)
GRANT CREATE VOLUME ON SCHEMA `<対象カタログ>`.`<対象スキーマ>` TO `<グループまたはユーザー>`; 

Compute については、ワークスペースの権限で Cluster 作成、Warehouse 作成、および対象 Compute(サーバレス含む)の 使用権限をユーザー/グループに与えてください。サービスプリンシパルを用いる場合は、同等の権限をアプリケーションにも付与します。

パイプライン作成時の具体的ポイント

  1. サイドバーの Jobs & Pipelines を開き、Create ▸ Job を選びます。
  2. タスク編集画面右上の Lakeflow Jobs UI を ON にします。
  3. 「ETL pipelines(旧 DLT)」を選ぶ導線が表示されたら、ウィザードに進みます。
  4. 実行先 Compute は、サーバレスが利用可能なら Serverless を、未対応なら 既存のクラスター等を指定します。
  5. ターゲットの Catalog/Schema/Volume を UC 上で選択します(作成権限が必要)。

ノートブック/SQL ベースで宣言的にテーブルを定義できます。データ品質チェック(Expectations)も組み込めます。

-- 例:宣言的パイプライン(SQL)
CREATE LIVE TABLE bronze_orders
AS SELECT * FROM cloud_files('/Volumes/<cat>/<sch>/raw/orders', 'json');

CREATE LIVE TABLE silver_orders
TBLPROPERTIES ("quality" = "silver")
CONSTRAINT valid_order_id EXPECT (order_id IS NOT NULL) ON VIOLATION DROP ROW
AS
SELECT
order_id,
CAST(order_ts AS TIMESTAMP) AS order_ts,
customer_id,
amount
FROM LIVE.bronze_orders;

CREATE LIVE TABLE gold_daily_sales
TBLPROPERTIES ("quality" = "gold")
AS
SELECT
date_trunc('day', order_ts) AS order_date,
SUM(amount) AS daily_sales
FROM LIVE.silver_orders
GROUP BY 1; 

設定画面で Storage Location(チェックポイント・テーブル格納)、Pipeline Mode(ストリーミング/バッチ)、スケジュール を決めたら保存・実行できます。

「見えない」時の原因別チェック表

症状想定原因対処
サイドバーに ETL pipelines が無い名称変更後のメニューを探していない/プレビュー未ON/UI が旧版Previews で Lakeflow Pipelines Editor を ON、再ログイン/キャッシュクリア
Jobs からも作成導線が出ないリージョン未対応・サーバレス未有効・権限不足アカウントのサーバレス可否とリージョン、Compute/UC 権限を確認
保存や実行で権限エラーUC の CREATE/USE、Volume 権限不足本記事の GRANT 例を参考に最小権限を付与
ウィザードは開くがターゲットが選べないUC カタログ/スキーマが無い or 参照不可管理者に Catalog/Schema の作成・付与を依頼
ブラウザで UI が不安定キャッシュ・拡張機能・ネットワーク制限シークレットウィンドウ/別ブラウザ/拡張機能オフで再検証

環境設計のベストプラクティス(表示・運用を安定させる)

  • 環境分離:Dev/Stg/Prod で UC カタログを分け、パイプラインの Target を環境ごとに固定。
  • 命名規約:pipeline 名、テーブル名、ボリューム名に環境接頭辞(例:dev_、stg_、prd_)。
  • 権限テンプレート化:グループ単位で最小権限をロール化し、ユーザー追加時のばらつきを排除。
  • Compute プロファイル:サーバレス有効時は既定を Serverless に、未対応時は共有クラスター/Job クラスターの標準サイズを定義。
  • 監査:パイプラインのイベント(開始/停止/失敗)をログテーブルへ出力し、ダッシュボード化。

トラブルシューティング:表示復活までの 10 ステップ

  1. 再ログイン/別ブラウザで UI キャッシュ影響を切り分け。
  2. Profile ▸ Previews で Lakeflow Pipelines Editor を ON。
  3. Settings ▸ Developer にも同名トグルがあれば ON。
  4. Jobs & Pipelines ▸ Create ▸ Job → 画面右上の Lakeflow Jobs UI を ON。
  5. 左サイドバーに ETL pipelines が出たかを再確認。
  6. UC の Catalog/Schema/Volume 権限があるか検証(本記事の GRANT 例)。
  7. Compute の 作成/使用権限があるか確認。
  8. アカウントで サーバレス有効かつ リージョン対応かを管理者に確認。
  9. サーバレスが不可の場合は、Job クラスターに切り替えてパイプラインを仮運用。
  10. 最後にブラウザ拡張・ネットワーク制限(広告ブロック、ヘッダ書き換え等)を確認。

ケース別の対応例

ケース A:US East なのにメニューが全く出ない

アカウントのサーバレス可否とワークスペースの UI トグルが未設定の組み合わせが典型です。まずプレビューを ON、それでも出なければ管理者にサーバレスの有効化状況を確認。併せて UC 権限を点検します。

ケース B:作成はできるが保存時に失敗する

UC の CREATE SCHEMA/CREATE VOLUME が不足している可能性が高いです。対象カタログ/スキーマの USE 権限も再確認してください。

ケース C:Job からの導線は見えるが Pipeline という語が無い

新 UI では用語が整理され、ETL pipelines の表記に統一される場合があります。旧「DLT」を探さずに、新しいラベルを辿るのがポイントです。

管理者に依頼するためのテンプレート(コピペ可)

件名:Lakeflow ETL pipelines 表示/作成に必要な前提条件の確認依頼

・ワークスペース:<ワークスペース名>(リージョン:US East)
・現象:サイドバーに ETL pipelines(旧 DLT)が表示されない

確認依頼:

1. Profile ▸ Previews / Settings ▸ Developer の
   「Lakeflow Pipelines Editor」を ON にできますか?
2. Unity Catalog は当該ワークスペースで有効化されていますか?
3. アカウントでサーバレス Compute は US East で利用可能になっていますか?
4. 以下権限を <対象ユーザー/グループ> に付与できますか?

   * Compute 作成/使用権限
   * UC: USE CATALOG, CREATE SCHEMA, USE SCHEMA, CREATE VOLUME
     以上、対応をご検討ください。 

実装時の小ワザ:品質と運用性を底上げ

  • Expectation の命名規約:CONSTRAINT <領域>_<列>_not_null のように揃えると、失敗ログの横断分析が容易。
  • Storage Location の一元化:各パイプラインに共通のベースパスを与え、チェックポイント/テーブルの所在をチームで共有。
  • スケジュールの時間帯分散:複数パイプラインが同時起動して Compute を逼迫しないよう、5〜10 分刻みで分散。
  • タグ運用:パイプライン名やジョブに env=dev/stg/prd、domain=orders 等のタグを付与し、コスト可視化と通知設定を容易に。

よくある質問(FAQ)

Q. 旧 UI のままですが、必ずアップグレードが必要ですか? A. 旧 UI ではメニュー表記や導線が異なり、機能が見つけづらいことがあります。最新 UI へのアップグレードで ETL pipelines タブが表示され、運用が安定します。 Q. US East でもメニューが出るワークスペースと出ないワークスペースがあります。 A. アカウント側のサーバレス有効化タイミングやワークスペースごとのプレビュー設定差が原因になり得ます。アカウント設定とワークスペースの Previewsの両面を併せて点検してください。 Q. DLT で書いたノートブックは Lakeflow でそのまま使えますか? A. 宣言的な定義や期待値(Expectation)などの基本的な考え方は継承されます。新 UI ではメニューや設定項目の名称が変わるため、ウィザードで確認しながら移行してください。

まとめ:最短で「見える・使える」状態に戻す鍵

  • 名前が変わった:まず ETL pipelines を探す。
  • プレビューを ON:Lakeflow Pipelines Editor を ON。
  • Jobs 側のトグル:Lakeflow Jobs UI を ON。
  • 前提条件:UC 有効・サーバレス有効・Compute/UC 権限を満たす。
  • リージョン:US East でも契約形態/設置条件で挙動が異なるため、アカウント設定を併せて確認。

この順序で進めれば、表示問題の大半は短時間で解消できます。表示が復活したら、権限テンプレート・環境分離・命名規約を整備し、チーム全体の生産性と安定性を底上げしましょう。

付録:チェックリスト(印刷・共有用)

Noチェック項目結果備考
1サイドバーに「ETL pipelines」がある☐ 済 ☐ 未
2Profile ▸ Previews で Lakeflow Pipelines Editor が ON☐ 済 ☐ 未
3Settings ▸ Developer でも ON を確認☐ 済 ☐ 未
4Jobs 画面で Lakeflow Jobs UI を ON☐ 済 ☐ 未
5Unity Catalog がワークスペースで有効☐ 済 ☐ 未
6サーバレス Compute がアカウントで利用可能(US East)☐ 済 ☐ 未
7Compute 作成・使用権限が付与済み☐ 済 ☐ 未
8UC:USE CATALOG / CREATE SCHEMA / USE SCHEMA / CREATE VOLUME☐ 済 ☐ 未
9ブラウザキャッシュ削除・別ブラウザでも再検証☐ 済 ☐ 未
10表示復旧後、環境分離・権限テンプレート・命名規約を整備☐ 済 ☐ 未

この記事を書いた人

実務の現場で詰まりがちなポイントを地図にするITブログ「IT trip」を運営。Windows/Office(Teams・Excel)からSQL、サーバ運用、ガジェットまで、再現性のある手順と“なぜそうなるか”を丁寧に解説します。読んだらすぐ試せること、そして迷った人の次の一歩が見えることを大切にしています。

コメント

コメントする

目次