Databricks のサイドバーに「Delta Live Tables(現 Lakeflow ETL pipelines)」が見当たらない――そんな時に確認すべき項目と具体的な解決手順を、管理者・開発者の双方の視点で体系化しました。US East リージョンかつ Premium 版の前提で、名称変更後の UI で迷わないためのチェックリスト、権限設定の例、作成時のコツまで一気通貫で解説します。
症状と背景:なぜメニューが「見えない」のか
2025 年以降、従来の Delta Live Tables は Lakeflow Declarative Pipelines に名称変更され、ワークスペースの UI では ETL pipelines と表示されます。名称が変わっただけでコア機能は継承されているため、メニューを「Delta Live Tables」で探していると見つからないケースが多発します。
さらに、プレビュー機能のトグル、Unity Catalog(以下 UC)やサーバレス Compute の有効化、そして権限(カタログ/スキーマ/ボリューム作成権や Compute 作成権)が満たされていない場合、UI に項目が出現しない・作成ウィザードが古いまま等の事象が起きます。本記事では、これらの前提を順序立てて確認し、最短でメニューを表示させるための実務的な手順を提示します。
まず最初に行う「2 ステップ」
ステップ 1:名称変更の確認
- 左サイドバーに ETL pipelines というメニューがあるか確認します(旧名:Delta Live Tables)。
- サイドバーに見つからない場合は、Jobs & Pipelines を開き、右上の切り替えや作成導線の中に「Pipelines」相当の UI が統合されていないかを見ます。
ステップ 2:プレビュー機能トグルの確認
Lakeflow UI は、ワークスペースのプレビュー機能トグルによって表示が切り替わることがあります。以下のいずれかの方法で有効化します。
- 方法 A(推奨):右上の Profile ▸ Previews を開き、Lakeflow Pipelines Editor を ON にします。
- 方法 B:Settings ▸ Developer に移動し、同じく Lakeflow Pipelines Editor を ON にします。
トグル変更後は、ブラウザのキャッシュをクリアするかシークレットウィンドウ/別ブラウザで再ログインすると、メニューが表示されることがあります。
前提条件チェックリスト(US East/Premium 前提)
次の前提条件が満たされていない場合、メニューが出ない・作れない・保存できないなどの症状につながります。表の「確認場所」を辿って、順番に確認してください。
| 必須項目 | 概要 | 確認場所 | 想定状態 |
|---|---|---|---|
| Unity Catalog 有効 | ワークスペースで UC を有効化 | Workspace Settings(管理者) | ON |
| サーバレス Compute 有効 | アカウント単位の有効化。リージョンによっては提供段階が異なる | Account Console(管理者) | 有効(US East 対応) |
| Compute 権限 | Compute の作成/利用権限を保有 | Workspace Permissions/IAM | 許可済み |
| カタログ作成権限 | USE CATALOG + CREATE SCHEMA | UC(Catalog/Schema 権限) | 付与済み |
| ボリューム作成権限 | USE SCHEMA + CREATE VOLUME | UC(Schema 権限) | 付与済み |
セルフチェック用テンプレート
| 項目 | 期待値 | 確認場所 | 実際(記入欄) |
|---|---|---|---|
| Lakeflow Pipelines Editor | ON | Profile ▸ Previews / Settings ▸ Developer | |
| UC 有効 | ON | Workspace Settings | |
| サーバレス Compute | 利用可 | Account Console | |
| Compute 作成権限 | あり | Workspace Permissions | |
| UC 権限(Catalog/Schema/Volume) | 付与済み | UC 権限タブ |
メニューが出ないままのときの「最短導線」
上記トグルと前提条件を満たしているのに見えない場合は、以下の手順で作成導線から入ると解決することがあります。
- 左サイドバー ▸ Jobs & Pipelines を開く。
- Create ▸ Job を選択。
- タスク編集画面の右上にある Lakeflow Jobs UI を ON に切り替える。
これにより、新 UI に統合されたパイプライン作成フローへ移行できます。以降は同じ UI からパイプラインの定義・実行・モニタリングを行えます。
リージョン制約(US East)の考え方
サーバレス Lakeflow にはリージョン制約があり、対象外のリージョンでは関連 UI が出現しないことがあります。ワークスペースの表示が古い/出ない要因がリージョンに起因している可能性があるため、アカウント管理者に以下を確認してください。
- アカウントレベルでサーバレス機能が有効になっているか。
- ワークスペースの 正確なリージョン(US East には複数の候補があり、アカウント契約・設置先によって取り扱いが異なることがあります)。
- Lakeflow 関連のプレビュー/早期アクセス設定がワークスペースに適用済みか。
リージョン上の理由でサーバレス Lakeflow が使えない場合でも、メニューが現れない・作れない問題を回避するための選択肢として、非サーバレスの Compute を使用してパイプラインを構成する、あるいは Jobs のオーケストレーションで同等の処理を段階的に組むといった暫定策も有効です。
権限設定の実務:最小権限の付与例
Lakeflow のパイプラインは UC 上のオブジェクト(カタログ/スキーマ/ボリューム)を作成・更新します。権限不足だとウィザードは進んでも保存・実行でエラーになります。以下は UC の代表的な付与例です(管理者が実行)。
-- カタログ作成・使用
GRANT CREATE CATALOG ON METASTORE TO `<グループまたはユーザー>`;
GRANT USE CATALOG ON CATALOG `<対象カタログ>` TO `<グループまたはユーザー>`;
-- スキーマ作成・使用
GRANT CREATE SCHEMA ON CATALOG `<対象カタログ>` TO `<グループまたはユーザー>`;
GRANT USE SCHEMA ON SCHEMA `<対象カタログ>`.`<対象スキーマ>` TO `<グループまたはユーザー>`;
-- ボリューム作成(ファイル出力などに利用)
GRANT CREATE VOLUME ON SCHEMA `<対象カタログ>`.`<対象スキーマ>` TO `<グループまたはユーザー>`;
Compute については、ワークスペースの権限で Cluster 作成、Warehouse 作成、および対象 Compute(サーバレス含む)の 使用権限をユーザー/グループに与えてください。サービスプリンシパルを用いる場合は、同等の権限をアプリケーションにも付与します。
パイプライン作成時の具体的ポイント
- サイドバーの Jobs & Pipelines を開き、Create ▸ Job を選びます。
- タスク編集画面右上の Lakeflow Jobs UI を ON にします。
- 「ETL pipelines(旧 DLT)」を選ぶ導線が表示されたら、ウィザードに進みます。
- 実行先 Compute は、サーバレスが利用可能なら Serverless を、未対応なら 既存のクラスター等を指定します。
- ターゲットの Catalog/Schema/Volume を UC 上で選択します(作成権限が必要)。
ノートブック/SQL ベースで宣言的にテーブルを定義できます。データ品質チェック(Expectations)も組み込めます。
-- 例:宣言的パイプライン(SQL)
CREATE LIVE TABLE bronze_orders
AS SELECT * FROM cloud_files('/Volumes/<cat>/<sch>/raw/orders', 'json');
CREATE LIVE TABLE silver_orders
TBLPROPERTIES ("quality" = "silver")
CONSTRAINT valid_order_id EXPECT (order_id IS NOT NULL) ON VIOLATION DROP ROW
AS
SELECT
order_id,
CAST(order_ts AS TIMESTAMP) AS order_ts,
customer_id,
amount
FROM LIVE.bronze_orders;
CREATE LIVE TABLE gold_daily_sales
TBLPROPERTIES ("quality" = "gold")
AS
SELECT
date_trunc('day', order_ts) AS order_date,
SUM(amount) AS daily_sales
FROM LIVE.silver_orders
GROUP BY 1;
設定画面で Storage Location(チェックポイント・テーブル格納)、Pipeline Mode(ストリーミング/バッチ)、スケジュール を決めたら保存・実行できます。
「見えない」時の原因別チェック表
| 症状 | 想定原因 | 対処 |
|---|---|---|
| サイドバーに ETL pipelines が無い | 名称変更後のメニューを探していない/プレビュー未ON/UI が旧版 | Previews で Lakeflow Pipelines Editor を ON、再ログイン/キャッシュクリア |
| Jobs からも作成導線が出ない | リージョン未対応・サーバレス未有効・権限不足 | アカウントのサーバレス可否とリージョン、Compute/UC 権限を確認 |
| 保存や実行で権限エラー | UC の CREATE/USE、Volume 権限不足 | 本記事の GRANT 例を参考に最小権限を付与 |
| ウィザードは開くがターゲットが選べない | UC カタログ/スキーマが無い or 参照不可 | 管理者に Catalog/Schema の作成・付与を依頼 |
| ブラウザで UI が不安定 | キャッシュ・拡張機能・ネットワーク制限 | シークレットウィンドウ/別ブラウザ/拡張機能オフで再検証 |
環境設計のベストプラクティス(表示・運用を安定させる)
- 環境分離:Dev/Stg/Prod で UC カタログを分け、パイプラインの Target を環境ごとに固定。
- 命名規約:pipeline 名、テーブル名、ボリューム名に環境接頭辞(例:
dev_、stg_、prd_)。 - 権限テンプレート化:グループ単位で最小権限をロール化し、ユーザー追加時のばらつきを排除。
- Compute プロファイル:サーバレス有効時は既定を Serverless に、未対応時は共有クラスター/Job クラスターの標準サイズを定義。
- 監査:パイプラインのイベント(開始/停止/失敗)をログテーブルへ出力し、ダッシュボード化。
トラブルシューティング:表示復活までの 10 ステップ
- 再ログイン/別ブラウザで UI キャッシュ影響を切り分け。
- Profile ▸ Previews で Lakeflow Pipelines Editor を ON。
- Settings ▸ Developer にも同名トグルがあれば ON。
- Jobs & Pipelines ▸ Create ▸ Job → 画面右上の Lakeflow Jobs UI を ON。
- 左サイドバーに ETL pipelines が出たかを再確認。
- UC の Catalog/Schema/Volume 権限があるか検証(本記事の GRANT 例)。
- Compute の 作成/使用権限があるか確認。
- アカウントで サーバレス有効かつ リージョン対応かを管理者に確認。
- サーバレスが不可の場合は、Job クラスターに切り替えてパイプラインを仮運用。
- 最後にブラウザ拡張・ネットワーク制限(広告ブロック、ヘッダ書き換え等)を確認。
ケース別の対応例
ケース A:US East なのにメニューが全く出ない
アカウントのサーバレス可否とワークスペースの UI トグルが未設定の組み合わせが典型です。まずプレビューを ON、それでも出なければ管理者にサーバレスの有効化状況を確認。併せて UC 権限を点検します。
ケース B:作成はできるが保存時に失敗する
UC の CREATE SCHEMA/CREATE VOLUME が不足している可能性が高いです。対象カタログ/スキーマの USE 権限も再確認してください。
ケース C:Job からの導線は見えるが Pipeline という語が無い
新 UI では用語が整理され、ETL pipelines の表記に統一される場合があります。旧「DLT」を探さずに、新しいラベルを辿るのがポイントです。
管理者に依頼するためのテンプレート(コピペ可)
件名:Lakeflow ETL pipelines 表示/作成に必要な前提条件の確認依頼
・ワークスペース:<ワークスペース名>(リージョン:US East)
・現象:サイドバーに ETL pipelines(旧 DLT)が表示されない
確認依頼:
1. Profile ▸ Previews / Settings ▸ Developer の
「Lakeflow Pipelines Editor」を ON にできますか?
2. Unity Catalog は当該ワークスペースで有効化されていますか?
3. アカウントでサーバレス Compute は US East で利用可能になっていますか?
4. 以下権限を <対象ユーザー/グループ> に付与できますか?
* Compute 作成/使用権限
* UC: USE CATALOG, CREATE SCHEMA, USE SCHEMA, CREATE VOLUME
以上、対応をご検討ください。
実装時の小ワザ:品質と運用性を底上げ
- Expectation の命名規約:
CONSTRAINT <領域>_<列>_not_nullのように揃えると、失敗ログの横断分析が容易。 - Storage Location の一元化:各パイプラインに共通のベースパスを与え、チェックポイント/テーブルの所在をチームで共有。
- スケジュールの時間帯分散:複数パイプラインが同時起動して Compute を逼迫しないよう、5〜10 分刻みで分散。
- タグ運用:パイプライン名やジョブに env=dev/stg/prd、domain=orders 等のタグを付与し、コスト可視化と通知設定を容易に。
よくある質問(FAQ)
Q. 旧 UI のままですが、必ずアップグレードが必要ですか? A. 旧 UI ではメニュー表記や導線が異なり、機能が見つけづらいことがあります。最新 UI へのアップグレードで ETL pipelines タブが表示され、運用が安定します。 Q. US East でもメニューが出るワークスペースと出ないワークスペースがあります。 A. アカウント側のサーバレス有効化タイミングやワークスペースごとのプレビュー設定差が原因になり得ます。アカウント設定とワークスペースの Previewsの両面を併せて点検してください。 Q. DLT で書いたノートブックは Lakeflow でそのまま使えますか? A. 宣言的な定義や期待値(Expectation)などの基本的な考え方は継承されます。新 UI ではメニューや設定項目の名称が変わるため、ウィザードで確認しながら移行してください。
まとめ:最短で「見える・使える」状態に戻す鍵
- 名前が変わった:まず ETL pipelines を探す。
- プレビューを ON:Lakeflow Pipelines Editor を ON。
- Jobs 側のトグル:Lakeflow Jobs UI を ON。
- 前提条件:UC 有効・サーバレス有効・Compute/UC 権限を満たす。
- リージョン:US East でも契約形態/設置条件で挙動が異なるため、アカウント設定を併せて確認。
この順序で進めれば、表示問題の大半は短時間で解消できます。表示が復活したら、権限テンプレート・環境分離・命名規約を整備し、チーム全体の生産性と安定性を底上げしましょう。
付録:チェックリスト(印刷・共有用)
| No | チェック項目 | 結果 | 備考 |
|---|---|---|---|
| 1 | サイドバーに「ETL pipelines」がある | ☐ 済 ☐ 未 | |
| 2 | Profile ▸ Previews で Lakeflow Pipelines Editor が ON | ☐ 済 ☐ 未 | |
| 3 | Settings ▸ Developer でも ON を確認 | ☐ 済 ☐ 未 | |
| 4 | Jobs 画面で Lakeflow Jobs UI を ON | ☐ 済 ☐ 未 | |
| 5 | Unity Catalog がワークスペースで有効 | ☐ 済 ☐ 未 | |
| 6 | サーバレス Compute がアカウントで利用可能(US East) | ☐ 済 ☐ 未 | |
| 7 | Compute 作成・使用権限が付与済み | ☐ 済 ☐ 未 | |
| 8 | UC:USE CATALOG / CREATE SCHEMA / USE SCHEMA / CREATE VOLUME | ☐ 済 ☐ 未 | |
| 9 | ブラウザキャッシュ削除・別ブラウザでも再検証 | ☐ 済 ☐ 未 | |
| 10 | 表示復旧後、環境分離・権限テンプレート・命名規約を整備 | ☐ 済 ☐ 未 |

コメント