MENU

PowerShellを活用してAWS Glueのジョブブックマークを操作し差分ETLを実現する方法

PowerShell

AWS Glueは、AWSが提供するフルマネージド型のETL（Extract, Transform, Load）サービスであり、大量のデータ処理を効率的に自動化することができます。特に、ジョブブックマーク機能を活用することで、前回の処理以降に追加・更新されたデータのみを対象にETLを実行する差分処理が可能となります。これにより、不要なデータ処理を省き、ETLジョブのパフォーマンスを最適化することができます。

本記事では、PowerShellを活用してAWS Glueのジョブブックマークを操作し、差分ETLを実現する方法について詳しく解説します。AWS SDK for PowerShellを用いたAWS Glueジョブの管理手法や、ジョブブックマークの有効化・無効化の設定方法、実際に差分ETLを実行するPowerShellスクリプトの作成手順について説明します。さらに、エラー対応やトラブルシューティングについても触れ、実際のユースケースを通して応用できるようにします。

AWS Glueを利用する際、ジョブブックマークを適切に管理することは、データ処理の効率向上やコスト削減に直結します。PowerShellを使うことで、AWSコンソールを介さずにGlueジョブを柔軟に操作できるため、スクリプトによる自動化やスケジューリングも容易になります。本記事を通じて、AWS Glueのジョブブックマークの基本概念から、PowerShellを活用した実践的な活用方法までを習得しましょう。

目次

AWS Glueのジョブブックマークとは？

AWS Glueのジョブブックマーク（Job Bookmark）とは、ETLジョブの実行履歴を記録し、次回の実行時に前回の処理結果を考慮して差分データのみを対象にETL処理を行うための機能です。これにより、無駄なデータ処理を省き、パフォーマンスを向上させることができます。

ジョブブックマークの仕組み

AWS Glueのジョブブックマークは、ETLジョブが処理したデータの情報をメタデータとして記録します。次回ジョブが実行される際、このメタデータを参照し、未処理のデータのみを対象としてETLを実行します。例えば、以下のような処理が可能になります。

  1. 新規データのみをロード：S3バケットやデータベースのテーブルから、前回のETL処理以降に追加されたデータのみを抽出し、変換・ロードする。
  2. 更新データの適用：変更が加えられたデータのみを特定し、アップデートを行う。
  3. 重複処理を防ぐ：同じデータが複数回処理されることを防ぎ、効率的なETLを実現する。

ジョブブックマークのメリット

AWS Glueのジョブブックマークを活用することで、以下のメリットがあります。

  • 処理時間の短縮：全データを処理する必要がなく、新規・変更データのみを対象にETLを実行できるため、処理時間が短縮される。
  • コスト削減：ETLジョブの実行時間が短縮されることで、AWS Glueの使用料金が抑えられる。
  • リソースの最適化：不要なデータ処理を減らすことで、クラウドリソースの最適化につながる。

ジョブブックマークの適用例

例えば、以下のようなシナリオでジョブブックマークを活用することができます。

  1. S3に格納されたCSVファイルを毎日処理する
  • 毎日S3に新しいCSVファイルがアップロードされる。
  • AWS Glueのジョブブックマークを使用すると、未処理のCSVファイルのみを対象にETLを実行できる。
  1. データベースの更新分を処理する
  • RDSのテーブルから、前回のETL処理以降に追加・更新されたレコードのみを取得し、DWH（データウェアハウス）にロードする。
  1. ストリーミングデータの差分処理
  • Amazon KinesisやKafkaのようなストリーミングデータソースに対して、前回処理時のチェックポイントを記録し、未処理のデータのみを処理する。

ジョブブックマークを適切に活用することで、AWS GlueのETLジョブを効率化し、不要なリソース消費を削減することができます。次のセクションでは、PowerShellを活用してAWS Glueジョブを管理し、ジョブブックマークを操作する方法について解説します。

PowerShellを活用したAWSの管理と操作の概要

AWSのリソースを操作する際には、通常AWSマネジメントコンソールやAWS CLIを使用しますが、スクリプトを活用することで自動化や定期的な処理を行うことが可能です。特に、PowerShellを活用すると、AWSリソースをWindows環境から簡単に操作でき、Glueジョブの管理やジョブブックマークの制御を効率的に行うことができます。

本章では、AWS SDK for PowerShellを用いてAWSリソースを操作する基本的な手順について解説します。

AWS SDK for PowerShellとは？

AWS SDK for PowerShellは、PowerShellを使用してAWSリソースを管理できるモジュール群です。AWS CLIと同様に、AWSの各種サービス（S3, EC2, Glueなど）をスクリプトベースで操作できます。

PowerShellを使用するメリットは以下のとおりです。

  • Windows環境でのスクリプト実行が容易：Windows PowerShell環境を活用し、管理スクリプトを記述できる。
  • 自動化が容易：バッチ処理やスケジューリングと組み合わせることで、Glueジョブの定期実行や監視が可能。
  • AWS APIと連携が可能：AWS SDKを活用し、AWS CLIでは難しい詳細な設定やカスタム処理をスクリプト化できる。

AWS SDK for PowerShellのインストール

PowerShellでAWSリソースを操作するためには、まずAWS Tools for PowerShell（AWS SDK for PowerShell）をインストールする必要があります。

インストール手順

以下のコマンドをPowerShellで実行し、AWS Tools for PowerShellをインストールします。

Install-Module -Name AWSPowerShell -Scope CurrentUser

また、AWS Tools for PowerShell Core（PowerShell 7対応版）をインストールする場合は、以下のコマンドを使用します。

Install-Module -Name AWSPowerShell.NetCore -Scope CurrentUser

インストールが完了したら、次のコマンドでモジュールをインポートし、利用可能なことを確認します。

Import-Module AWSPowerShell
Get-AWSPowerShellVersion

AWSアカウントの認証設定

AWS SDK for PowerShellを使用するためには、AWSアカウントの認証情報（アクセスキーとシークレットキー）を設定する必要があります。以下のコマンドを実行して、AWSの認証情報を登録します。

Set-AWSCredential -AccessKey <YOUR_ACCESS_KEY> -SecretKey <YOUR_SECRET_KEY> -StoreAs default

登録した認証情報を確認するには、次のコマンドを実行します。

Get-AWSCredential -ListProfileDetail

また、AWS CLIと同じ認証情報を利用する場合は、以下のコマンドでプロファイルを指定してAWSリソースを操作できます。

Set-AWSCredential -ProfileName default

PowerShellを用いたAWS Glueジョブの基本操作

PowerShellを使用すると、AWS Glueのジョブを簡単に操作できます。例えば、以下のコマンドでGlueジョブの一覧を取得できます。

Get-GLUEJob

特定のGlueジョブの詳細情報を取得するには、以下のコマンドを使用します。

Get-GLUEJob -JobName "my-glue-job"

Glueジョブを手動で開始するには、次のコマンドを実行します。

Start-GLUEJobRun -JobName "my-glue-job"

また、ジョブの実行ステータスを確認するには、以下のコマンドを使用します。

Get-GLUEJobRun -JobName "my-glue-job" -RunId "jr_123456789abcdef"

このように、PowerShellを活用することで、AWS Glueのジョブ管理をスクリプトベースで実行し、ジョブブックマークの状態を確認したり、ジョブを実行したりすることができます。

次のセクションでは、PowerShellを使用してAWS Glueのジョブブックマークの状態を確認する方法について詳しく解説します。

PowerShellでAWS Glueジョブブックマークの状態を確認する方法

AWS Glueのジョブブックマークは、ETLジョブの実行履歴を記録し、次回の処理時に前回の状態を考慮して差分データのみを処理できるようにする重要な機能です。
PowerShellを使用すれば、ジョブブックマークの状態を簡単に取得し、ETL処理の最適化やトラブルシューティングに役立てることができます。

本章では、PowerShellを利用してAWS Glueジョブのブックマーク情報を確認する方法について解説します。

ジョブブックマークの確認方法

AWS Glueのジョブブックマークの情報は、Get-GLUEJobRun コマンドを使用して取得できます。以下の手順でジョブブックマークの状態を確認できます。

1. AWS Glueジョブの最新の実行履歴を取得する

まず、対象のGlueジョブの最新の実行履歴を取得するために、以下のコマンドを実行します。

$jobName = "my-glue-job"  # Glueジョブ名を指定
$latestRun = (Get-GLUEJobRuns -JobName $jobName).JobRuns | Sort-Object -Property StartedOn -Descending | Select-Object -First 1

$latestRun

このコマンドは、対象のGlueジョブの実行履歴を取得し、最新の実行情報を変数$latestRunに格納します。

ジョブブックマークの詳細情報を取得する

取得したジョブの実行情報から、ジョブブックマークに関する詳細情報を確認できます。

2. ジョブブックマークの有無を確認

ジョブブックマークが有効になっているかどうかを確認するには、以下のコマンドを実行します。

$latestRun.JobBookmark

この値が null または "" の場合、ジョブブックマークは有効になっていません。
逆に、値が含まれている場合は、ジョブブックマークが適用されており、どのデータが処理されたかの記録が保持されています。

ジョブブックマークの具体的な内容を確認

ジョブブックマークの状態をより詳細に確認するには、以下のコマンドを使用します。

$latestRun.PreviousJobRunId

このコマンドを実行すると、前回のジョブ実行のRun IDが表示されます。
これにより、現在のジョブがどの実行履歴を参照して差分データを処理しているかを確認できます。

また、特定のジョブ実行履歴について詳細情報を取得するには、次のように Get-GLUEJobRun コマンドを使います。

$runId = $latestRun.Id  # 最新のジョブ実行IDを取得
Get-GLUEJobRun -JobName $jobName -RunId $runId

このコマンドにより、ジョブブックマークを含む詳細なジョブ実行履歴を確認できます。

ジョブブックマークが正しく機能しているかの確認

ジョブブックマークが正しく機能しているかを判断するためには、以下のポイントを確認します。

  1. ジョブブックマークが適用されているか（値がnullでないか）
  2. 前回のジョブRun IDが記録されているか
  3. ジョブ実行後に新しいジョブブックマークが保存されているか

例えば、ジョブブックマークが null である場合、ジョブが全データを毎回処理している可能性があります。この場合、ジョブブックマークの設定が無効になっていないか確認する必要があります。

ジョブブックマーク情報のログを取得

以下のスクリプトを実行すると、AWS Glueジョブのブックマーク状態をログとして出力できます。

$jobName = "my-glue-job"

# 最新の実行履歴を取得
$latestRun = (Get-GLUEJobRuns -JobName $jobName).JobRuns | Sort-Object -Property StartedOn -Descending | Select-Object -First 1

Write-Host "ジョブ名: $jobName"
Write-Host "最新の実行 ID: $($latestRun.Id)"
Write-Host "ジョブブックマーク情報: $($latestRun.JobBookmark)"
Write-Host "前回のジョブRun ID: $($latestRun.PreviousJobRunId)"
Write-Host "ジョブの状態: $($latestRun.JobRunState)"

このスクリプトを実行すると、AWS Glueジョブのブックマーク情報を詳細に取得し、ログとして表示できます。

まとめ

PowerShellを使用することで、AWS Glueジョブのブックマーク情報を簡単に取得・確認できます。
ジョブブックマークが適切に機能しているかどうかを定期的にチェックし、差分ETL処理の精度を向上させることが重要です。

次のセクションでは、ジョブブックマークの有効化・無効化の方法について詳しく解説します。

ジョブブックマークの有効化と無効化の設定方法

AWS Glueのジョブブックマークを適切に管理することで、ETLジョブのパフォーマンスを最適化し、不要なデータ処理を削減できます。
ジョブブックマークは、ジョブの設定時に有効化（Enabled）または無効化（Disable）を選択することができ、状況に応じて変更することも可能です。

本章では、PowerShellを使用してAWS Glueジョブブックマークの有効化・無効化を設定する方法について解説します。

ジョブブックマークの有効化・無効化とは？

AWS Glueのジョブブックマークは、以下の3つのモードを選択できます。

モード説明
Enabled（有効）差分データのみを処理し、ジョブブックマークを記録する（デフォルト）
Disabled（無効）すべてのデータを処理し、ジョブブックマークを記録しない
Paused（一時停止）ジョブブックマークを参照せずにすべてのデータを処理するが、ブックマークは維持される

通常は Enabled を使用し、前回の実行時以降のデータのみを処理します。しかし、データの全件処理が必要な場合や、ブックマークをリセットしたい場合には Disabled や Paused を活用することが有効です。

ジョブブックマークの設定を確認する

現在のジョブブックマークの設定を確認するには、以下のPowerShellコマンドを実行します。

$jobName = "my-glue-job"  # Glueジョブ名

# ジョブ情報を取得
$job = Get-GLUEJob -JobName $jobName

# ジョブブックマークの状態を確認
$job.Job.BookmarkOptions

このコマンドを実行すると、現在のジョブブックマークの設定値 (Enabled, Disabled, Paused) が表示されます。

ジョブブックマークを有効化する

ジョブブックマークを有効化するには、以下のコマンドを使用します。

$jobName = "my-glue-job"

Update-GLUEJob -JobName $jobName -JobUpdate @{JobBookmarkOption="Enabled"}

このコマンドを実行すると、ジョブブックマークが有効になり、次回のジョブ実行時から差分データのみが処理されるようになります。

ジョブブックマークを無効化する

ジョブブックマークを無効にして、すべてのデータを再処理したい場合は、以下のコマンドを実行します。

$jobName = "my-glue-job"

Update-GLUEJob -JobName $jobName -JobUpdate @{JobBookmarkOption="Disabled"}

この設定を適用すると、次回のジョブ実行時にすべてのデータを再処理し、ジョブブックマークの履歴も保存されません。

ジョブブックマークを一時停止する

ジョブブックマークを保持したまま、現在のジョブ実行時のみ全件処理を行いたい場合は Paused モードを設定します。

$jobName = "my-glue-job"

Update-GLUEJob -JobName $jobName -JobUpdate @{JobBookmarkOption="Paused"}

Paused モードでは、データの全件処理を行いますが、ジョブブックマークの情報は削除されず、次回 Enabled に戻せば差分処理が再開されます。

ジョブブックマークの設定をリセットする

ジョブブックマークの履歴を完全にクリアし、新規ジョブとして実行したい場合は、次のコマンドを使用します。

$jobName = "my-glue-job"

Reset-GLUEJobBookmark -JobName $jobName

このコマンドを実行すると、ジョブブックマークが削除され、次回のジョブ実行時には最初から全データを処理する状態になります。

ジョブブックマークの変更を適用する

ジョブブックマークの設定を変更した後、次回のジョブ実行時に適用するには、以下のコマンドでジョブを開始します。

Start-GLUEJobRun -JobName "my-glue-job"

設定を適用後に Get-GLUEJobRun を実行し、ジョブが適切に動作しているかを確認します。

Get-GLUEJobRun -JobName "my-glue-job" -RunId "jr_123456789abcdef"

まとめ

AWS Glueのジョブブックマークの設定をPowerShellで管理することで、ETLジョブの処理を効率化できます。

  • ジョブブックマークの状態を確認：Get-GLUEJob
  • ジョブブックマークを有効化：Update-GLUEJob -JobUpdate @{JobBookmarkOption="Enabled"}
  • ジョブブックマークを無効化：Update-GLUEJob -JobUpdate @{JobBookmarkOption="Disabled"}
  • ジョブブックマークを一時停止：Update-GLUEJob -JobUpdate @{JobBookmarkOption="Paused"}
  • ジョブブックマークの履歴をリセット：Reset-GLUEJobBookmark

次のセクションでは、ジョブブックマークを活用して差分ETLを実現するPowerShellスクリプトについて詳しく解説します。

差分ETLを実現するPowerShellスクリプトの作成

AWS Glueのジョブブックマークを活用すると、前回のETL実行以降のデータのみを処理することが可能になります。
本章では、PowerShellを使用してAWS Glueのジョブを制御し、差分データのみを処理するスクリプトの作成方法について解説します。

差分ETL処理の基本概念

差分ETLの流れは以下の通りです。

  1. ジョブブックマークの状態を確認：前回のジョブの実行履歴を取得する。
  2. 最新データを抽出：新しく追加・更新されたデータを処理する。
  3. AWS Glueジョブを実行：PowerShellを用いて差分データを処理するジョブを起動する。
  4. 処理結果を確認：ジョブの実行ステータスを取得し、処理結果をログに出力する。

PowerShellスクリプトの作成

以下のスクリプトは、ジョブブックマークを利用して差分ETLを実行するためのものです。

# AWS Glueジョブ名を指定
$jobName = "my-glue-job"

# 最新のジョブ実行履歴を取得
$latestRun = (Get-GLUEJobRuns -JobName $jobName).JobRuns | Sort-Object -Property StartedOn -Descending | Select-Object -First 1

# ジョブブックマーク情報を取得
$jobBookmark = $latestRun.JobBookmark
$previousRunId = $latestRun.PreviousJobRunId

Write-Host "最新のジョブ実行ID: $($latestRun.Id)"
Write-Host "前回のジョブブックマーク: $jobBookmark"
Write-Host "前回のジョブRun ID: $previousRunId"

# 差分ETLを実行するためのGlueジョブを開始
$startResponse = Start-GLUEJobRun -JobName $jobName

# 新しいジョブ実行IDを取得
$newRunId = $startResponse.JobRunId
Write-Host "新規ジョブ実行ID: $newRunId"

# ジョブの実行完了を待機
$jobStatus = "RUNNING"

while ($jobStatus -eq "RUNNING" -or $jobStatus -eq "STARTING") {
    Start-Sleep -Seconds 10
    $jobRunDetails = Get-GLUEJobRun -JobName $jobName -RunId $newRunId
    $jobStatus = $jobRunDetails.JobRunState
    Write-Host "現在のジョブステータス: $jobStatus"
}

# ジョブ実行結果の確認
if ($jobStatus -eq "SUCCEEDED") {
    Write-Host "AWS Glueジョブが成功しました。"
} else {
    Write-Host "AWS Glueジョブが失敗しました。ステータス: $jobStatus"
}

# 最終的なジョブブックマークの更新を確認
$finalRun = Get-GLUEJobRun -JobName $jobName -RunId $newRunId
Write-Host "新しいジョブブックマーク: $($finalRun.JobBookmark)"

スクリプトの解説

  1. 最新のジョブブックマークを取得
  • Get-GLUEJobRuns コマンドで最新のジョブ実行履歴を取得します。
  • JobBookmark プロパティを確認し、差分データの処理に使用します。
  1. AWS Glueジョブを開始
  • Start-GLUEJobRun を使用してジョブを実行します。
  • 新しいジョブ実行ID (JobRunId) を取得します。
  1. ジョブのステータスを監視
  • Get-GLUEJobRun を定期的に実行し、ジョブの実行状態を取得します。
  • RUNNING または STARTING の状態が続く間、10秒間隔でステータスを監視します。
  1. ジョブの最終結果を確認
  • ジョブが成功 (SUCCEEDED) したかどうかをチェックします。
  • 新しいジョブブックマークの状態を取得し、ログに出力します。

スクリプトの活用方法

  1. PowerShell環境でスクリプトを実行する
    Windows PowerShellまたはPowerShell 7で、スクリプトを保存し実行します。
   .\execute-glue-job.ps1
  1. AWS認証情報の設定が必要
    事前に Set-AWSCredential を実行し、AWSの認証情報を設定しておく必要があります。
   Set-AWSCredential -ProfileName default
  1. Glueジョブの事前準備
  • AWS Glueのジョブが作成されていることを確認します。
  • JobBookmark が Enabled になっていることを確認します。

ジョブブックマークを活用した差分ETLの利点

  1. 不要なデータ処理を省略
  • 既に処理済みのデータをスキップし、新規または更新データのみを対象にETLを実行。
  1. 処理時間の短縮とコスト削減
  • 無駄なデータ処理を行わないため、AWS Glueの実行時間とコストを抑えることが可能。
  1. エラー発生時のリカバリーが容易
  • Paused モードに切り替えて再実行すれば、データの再処理が可能。

まとめ

本章では、PowerShellを使用してAWS Glueジョブのジョブブックマークを活用し、差分ETLを実行するスクリプトを作成しました。

  • PowerShellで最新のジョブブックマークを取得
  • AWS Glueジョブを実行し、差分データを処理
  • ジョブのステータスを監視し、成功・失敗を判定
  • ジョブブックマークの更新を確認し、次回の差分ETLに活用

次のセクションでは、PowerShellスクリプトの実行と動作確認の方法について詳しく解説します。

PowerShellスクリプトの実行と動作確認

前章では、AWS Glueのジョブブックマークを活用して差分ETLを実行するPowerShellスクリプトを作成しました。本章では、そのスクリプトを実行し、動作を確認する方法について詳しく解説します。

PowerShellスクリプトの実行手順

AWS GlueのジョブをPowerShellで実行する前に、以下の前提条件を確認してください。

1. AWSの認証情報を設定する

AWS SDK for PowerShellを使用するため、AWSの認証情報を設定します。

Set-AWSCredential -ProfileName default

または、明示的にアクセスキーとシークレットキーを指定する場合：

Set-AWSCredential -AccessKey "YOUR_ACCESS_KEY" -SecretKey "YOUR_SECRET_KEY"

2. AWS Glueジョブの状態を確認

事前にAWS Glueのジョブが正しく設定されているか確認します。

Get-GLUEJob -JobName "my-glue-job"

ジョブが存在しない場合は、事前にAWSマネジメントコンソールやAWS CLIを使用して作成してください。

3. スクリプトを保存して実行

スクリプトを execute-glue-job.ps1 という名前で保存し、PowerShellで実行します。

.\execute-glue-job.ps1

これにより、スクリプトが実行され、ジョブブックマークを考慮した差分ETLが開始されます。

PowerShellスクリプトの出力結果

スクリプトを実行すると、以下のようなログが表示されます。

最新のジョブ実行ID: jr_123456789abcdef
前回のジョブブックマーク: { "ProcessedBatch": 10 }
前回のジョブRun ID: jr_987654321abcdef
新規ジョブ実行ID: jr_abcdef123456789
現在のジョブステータス: RUNNING
現在のジョブステータス: RUNNING
現在のジョブステータス: SUCCEEDED
AWS Glueジョブが成功しました。
新しいジョブブックマーク: { "ProcessedBatch": 15 }

この出力から、ジョブが正常に実行され、ジョブブックマークが更新されたことが確認できます。

ジョブの実行状況をAWS Glueコンソールで確認

PowerShellスクリプトの出力だけでなく、AWS Glueコンソールでもジョブの実行状況を確認できます。

  1. AWS Glueコンソールにアクセス
    AWS Glueのコンソール に移動します。
  2. ジョブの実行履歴を確認
  • 左側のメニューから「ジョブ」を選択
  • 実行したジョブ名 (my-glue-job) をクリック
  • 「ジョブの実行履歴」タブで、最新の実行ステータスを確認
  1. 詳細情報を確認
  • ジョブの実行ID（PowerShellの出力と一致するはず）
  • ステータス（成功 / 失敗）
  • ログ（エラーが発生した場合、CloudWatchのログを確認）

ジョブのエラー時の対応

ジョブが失敗した場合、エラーメッセージを確認し、適切な対応を行います。

エラーメッセージの取得

$jobName = "my-glue-job"
$runId = "jr_abcdef123456789"

$jobRunDetails = Get-GLUEJobRun -JobName $jobName -RunId $runId
$jobRunDetails.ErrorMessage

よくあるエラーと対処法

エラー原因対応策
AccessDeniedExceptionAWS IAM権限が不足IAMポリシーを確認し、必要な権限を付与
JobBookmarkNotFoundExceptionジョブブックマークが無効化されているUpdate-GLUEJob で Enabled に設定
S3AccessDeniedExceptionS3バケットへのアクセス権がないIAMロールに適切なS3アクセス権限を追加
ScriptExecutionErrorスクリプトにエラーありGlueジョブのスクリプトを修正

ジョブブックマークの更新確認

ジョブ実行後、新しいジョブブックマークが正しく記録されているかを確認します。

$latestRun = (Get-GLUEJobRuns -JobName $jobName).JobRuns | Sort-Object -Property StartedOn -Descending | Select-Object -First 1
Write-Host "新しいジョブブックマーク: $($latestRun.JobBookmark)"

ジョブブックマークの内容が更新されていることを確認できれば、差分ETLが正常に機能していることになります。

まとめ

本章では、PowerShellスクリプトを実行し、AWS Glueジョブの差分ETLが正しく動作するかを確認する方法を解説しました。

  • AWSの認証情報を設定
  • AWS Glueジョブの事前確認
  • PowerShellスクリプトの実行
  • ジョブの実行結果の確認（PowerShell & Glueコンソール）
  • ジョブのエラー時の対応
  • ジョブブックマークの更新を確認

次のセクションでは、発生しやすいエラーとトラブルシューティングについて詳しく解説します。

エラー対応とトラブルシューティング

PowerShellを使用してAWS Glueのジョブを実行する際、さまざまなエラーが発生する可能性があります。本章では、発生しやすいエラーの原因と対策について詳しく解説します。

1. 認証エラー（AccessDeniedException）

エラー内容

AccessDeniedException: User is not authorized to perform this action.

原因

  • AWS IAMの権限不足により、Glueジョブを実行する権限がない
  • 認証情報が適切に設定されていない

対策

  1. IAMポリシーを確認
    AWS Glueのジョブを実行するために、以下のポリシーを付与する必要があります。
   {
     "Effect": "Allow",
     "Action": [
       "glue:StartJobRun",
       "glue:GetJobRun",
       "glue:GetJobRuns",
       "glue:GetJob"
     ],
     "Resource": "*"
   }
  1. PowerShellで正しい認証情報を設定
   Set-AWSCredential -ProfileName default
  1. AWS CLIでアクセス確認
    IAM設定が正しいか確認するため、以下のコマンドでGlueジョブの一覧を取得できるかテストします。
   Get-GLUEJob

2. ジョブブックマーク関連のエラー

エラー内容

JobBookmarkNotFoundException: Job bookmark does not exist.

原因

  • ジョブブックマークが無効 (Disabled) になっている
  • 新しいジョブのため、ジョブブックマークが未作成

対策

  1. ジョブブックマークの設定を確認
   $job = Get-GLUEJob -JobName "my-glue-job"
   $job.Job.BookmarkOptions
  1. ジョブブックマークを有効化
   Update-GLUEJob -JobName "my-glue-job" -JobUpdate @{JobBookmarkOption="Enabled"}
  1. ジョブブックマークをリセット（最初からやり直す）
   Reset-GLUEJobBookmark -JobName "my-glue-job"

3. S3アクセスエラー（S3AccessDeniedException）

エラー内容

S3AccessDeniedException: Access Denied when trying to access S3 bucket.

原因

  • Glueジョブの実行IAMロールにS3バケットへのアクセス権限がない
  • 指定したS3バケットが存在しない

対策

  1. IAMロールのポリシーを確認
    以下の権限を含むポリシーがGlueジョブの実行ロールに付与されているか確認します。
   {
     "Effect": "Allow",
     "Action": [
       "s3:GetObject",
       "s3:PutObject",
       "s3:ListBucket"
     ],
     "Resource": ["arn:aws:s3:::your-bucket-name/*"]
   }
  1. S3バケットの存在を確認
   Get-S3Bucket -BucketName "your-bucket-name"

4. ジョブの実行エラー（ScriptExecutionError）

エラー内容

ScriptExecutionError: An error occurred while running the script.

原因

  • Glueジョブのスクリプトに構文エラーがある
  • データのフォーマットが想定と異なる

対策

  1. Glueジョブのログを確認
   Get-GLUEJobRun -JobName "my-glue-job" -RunId "jr_abcdef123456789"
  1. CloudWatchのログを確認
    AWS Glueジョブのエラーログは、CloudWatchに記録されています。
  • AWSマネジメントコンソール → CloudWatch → ロググループ /aws-glue/jobs/output
  • エラーメッセージを確認し、スクリプトを修正

5. ジョブが実行されない（JobRunStateが “FAILED” または “STOPPED”）

エラー内容

JobRunState: FAILED

原因

  • Glueジョブが実行中にエラーで停止した
  • 必要なデータが存在しない（S3やデータベース）

対策

  1. Glueジョブの状態を確認
   $jobRun = Get-GLUEJobRun -JobName "my-glue-job" -RunId "jr_abcdef123456789"
   $jobRun.JobRunState
  1. エラー詳細を取得
   $jobRun.ErrorMessage
  1. 必要なデータの存在を確認
  • S3のデータが存在するか Get-S3Object で確認
  • データベースのテーブルが存在するか確認

エラー時の対応まとめ

エラー原因対策
AccessDeniedExceptionIAMポリシー不足必要な権限を付与
JobBookmarkNotFoundExceptionジョブブックマーク無効Update-GLUEJob で Enabled に設定
S3AccessDeniedExceptionS3アクセス権限なしIAMロールにS3のアクセス権を追加
ScriptExecutionErrorスクリプトエラーCloudWatchログで詳細を確認
JobRunState: FAILEDGlueジョブが停止Get-GLUEJobRun でエラーメッセージを取得

まとめ

本章では、PowerShellを使用してAWS Glueのジョブを実行する際に発生する可能性のあるエラーと、その解決方法について解説しました。

  • 認証エラー → IAMポリシーを確認
  • ジョブブックマーク関連のエラー → Update-GLUEJob または Reset-GLUEJobBookmark
  • S3アクセスエラー → IAMポリシーを修正
  • スクリプトエラー → CloudWatchログで詳細確認
  • ジョブが失敗する → Get-GLUEJobRun でステータスを確認

次のセクションでは、PowerShellを活用した実践的なAWS Glueジョブの活用例について詳しく解説します。

実践的な活用例

AWS GlueのジョブブックマークをPowerShellで操作し、差分ETLを実現する方法について学んできました。
本章では、実際の業務で役立つ実践的な活用例を紹介し、PowerShellスクリプトをどのように応用できるかを解説します。

1. S3の新着CSVデータを処理するGlueジョブ

ユースケース

  • 毎日S3バケットに新しいCSVファイルがアップロードされる
  • Glueジョブが新規ファイルのみを処理し、Athena用のデータセットに変換
  • ジョブブックマークを活用して、既に処理済みのファイルをスキップ

PowerShellスクリプト

$jobName = "csv-processing-job"

# 最新のジョブブックマークを取得
$latestRun = (Get-GLUEJobRuns -JobName $jobName).JobRuns | Sort-Object -Property StartedOn -Descending | Select-Object -First 1
Write-Host "最新のジョブブックマーク: $($latestRun.JobBookmark)"

# 新規ジョブを開始
$startResponse = Start-GLUEJobRun -JobName $jobName
$newRunId = $startResponse.JobRunId
Write-Host "新規ジョブ実行ID: $newRunId"

# ジョブの状態を監視
$jobStatus = "RUNNING"
while ($jobStatus -eq "RUNNING" -or $jobStatus -eq "STARTING") {
    Start-Sleep -Seconds 10
    $jobRunDetails = Get-GLUEJobRun -JobName $jobName -RunId $newRunId
    $jobStatus = $jobRunDetails.JobRunState
    Write-Host "現在のジョブステータス: $jobStatus"
}

# 結果をログに出力
Write-Host "ジョブ完了ステータス: $jobStatus"

期待される動作

  • PowerShellを使用してGlueジョブを定期的に実行
  • Glueジョブブックマークにより、新規CSVファイルのみを処理
  • すべての処理が完了後、Athenaのデータセットが更新

2. RDSのデータ更新分を処理し、DWHに連携

ユースケース

  • 毎晩、RDSのMySQLデータベースから更新分のみを取得
  • データウェアハウス（Redshift）にデータを同期
  • ジョブブックマークを利用して、前回処理したレコード以降のデータのみを取得

Glueジョブの構成

  • データソース: Amazon RDS (MySQL)
  • データ変換: SQLクエリを実行し、更新されたデータのみを取得
  • データロード: Amazon Redshiftにアップロード

PowerShellスクリプト

$jobName = "rds-to-redshift-etl"

# ジョブブックマークをリセット（必要に応じて）
Reset-GLUEJobBookmark -JobName $jobName

# Glueジョブを実行
$startResponse = Start-GLUEJobRun -JobName $jobName
$newRunId = $startResponse.JobRunId
Write-Host "Redshift連携ジョブ実行ID: $newRunId"

# ステータスを監視
while ($true) {
    $jobRunDetails = Get-GLUEJobRun -JobName $jobName -RunId $newRunId
    $jobStatus = $jobRunDetails.JobRunState
    Write-Host "現在のジョブステータス: $jobStatus"
    if ($jobStatus -ne "RUNNING" -and $jobStatus -ne "STARTING") { break }
    Start-Sleep -Seconds 10
}

# 結果の確認
Write-Host "ジョブ完了ステータス: $jobStatus"

期待される動作

  • RDSのデータを差分抽出し、Redshiftにロード
  • PowerShellでGlueジョブをスケジュール実行
  • エラーが発生した場合は、ログを確認しリトライ可能

3. スケジュール実行とGlueジョブの自動監視

ユースケース

  • PowerShellでGlueジョブを定期的に実行し、正常に完了したか監視
  • 異常があれば管理者にメール通知
  • 差分ETLの失敗時にジョブをリトライ

PowerShellスクリプト

$jobName = "daily-glue-etl"

# ジョブを開始
$startResponse = Start-GLUEJobRun -JobName $jobName
$newRunId = $startResponse.JobRunId
Write-Host "スケジュール実行ジョブID: $newRunId"

# ステータス監視
$jobStatus = "RUNNING"
while ($jobStatus -eq "RUNNING" -or $jobStatus -eq "STARTING") {
    Start-Sleep -Seconds 10
    $jobRunDetails = Get-GLUEJobRun -JobName $jobName -RunId $newRunId
    $jobStatus = $jobRunDetails.JobRunState
    Write-Host "現在のジョブステータス: $jobStatus"
}

# ジョブが失敗した場合、管理者に通知
if ($jobStatus -ne "SUCCEEDED") {
    Send-MailMessage -To "[email protected]" -Subject "Glueジョブエラー" -Body "ジョブ $jobName が失敗しました。" -SmtpServer "smtp.example.com"
}

期待される動作

  • PowerShellをWindowsタスクスケジューラでスケジュール実行
  • AWS Glueジョブのステータスを監視し、異常があれば通知
  • Glueジョブの失敗時にアラートを送信し、管理者が対応可能

4. Glueジョブの統計情報を定期的に取得・レポート作成

ユースケース

  • ジョブの実行履歴を収集し、処理時間やエラー回数を分析
  • S3にGlueジョブの実行ログを保存
  • ジョブの実行状況をCSVレポートとして出力

PowerShellスクリプト

$jobName = "data-processing-job"
$jobRuns = Get-GLUEJobRuns -JobName $jobName

# CSV用データ作成
$csvData = $jobRuns.JobRuns | Select-Object Id, StartedOn, JobRunState | ConvertTo-Csv -NoTypeInformation

# CSVをS3にアップロード
$csvData | Out-File -FilePath "C:\temp\glue_job_report.csv"
Write-S3Object -BucketName "glue-job-reports" -File "C:\temp\glue_job_report.csv" -Key "glue_job_report.csv"

期待される動作

  • 過去のGlueジョブ実行履歴をPowerShellで取得
  • ジョブの成功率やエラー率を分析
  • 定期レポートをS3に保存し、監視

まとめ

本章では、AWS GlueとPowerShellを活用した実践的な活用例を紹介しました。

  • S3の新着データを処理
  • RDSの更新データをRedshiftに同期
  • スケジュール実行とエラーハンドリング
  • ジョブ統計の収集とレポート作成

次のセクションでは、本記事のまとめを行います。

まとめ

本記事では、PowerShellを活用してAWS Glueのジョブブックマークを操作し、差分ETLを実現する方法について詳しく解説しました。
ジョブブックマークを活用することで、前回の処理以降の新規・変更データのみを対象にETLを実行でき、AWS Glueのパフォーマンスを最適化できます。

本記事の要点

  1. AWS Glueのジョブブックマークとは？
  • Glueジョブの実行履歴を保存し、差分データのみを処理する機能。
  1. PowerShellを活用したAWSリソース管理
  • AWS SDK for PowerShell を使用し、Glueジョブを管理・実行。
  1. ジョブブックマークの状態確認
  • Get-GLUEJobRun コマンドで、最新のジョブブックマーク情報を取得。
  1. ジョブブックマークの有効化・無効化
  • Update-GLUEJob を使用し、Enabled、Disabled、Paused の設定を変更可能。
  1. 差分ETLを実行するPowerShellスクリプト
  • PowerShellを用いて、ジョブブックマークを考慮したGlueジョブの実行・監視を自動化。
  1. スクリプトの実行と動作確認
  • PowerShellスクリプトを実行し、Glueジョブのログを監視する方法を解説。
  1. エラー対応とトラブルシューティング
  • IAM権限エラーやS3アクセスエラーなど、発生しやすいエラーとその対処法を紹介。
  1. 実践的な活用例
  • S3の新着データ処理、RDSの差分同期、Glueジョブの監視・レポート作成など、実用的なシナリオを紹介。

PowerShell × AWS Glueを活用するメリット

✅ 自動化と効率化
　PowerShellスクリプトを活用することで、Glueジョブの実行や監視を自動化し、手作業を削減できます。

✅ コスト削減
　ジョブブックマークを活用することで、不要なデータ処理を省き、AWS Glueの実行時間を短縮できます。

✅ エラーハンドリングの強化
　ジョブ実行ログの取得や通知システムの構築により、エラー発生時の対応がスムーズになります。

✅ 業務フローの最適化
　S3やRDS、RedshiftなどのAWSサービスと連携し、データ処理のパイプラインを効率的に構築できます。

次のステップ

AWS GlueとPowerShellを活用したETL処理をより高度化するために、次のステップとして以下の取り組みをおすすめします。

📌 Step 1: Lambdaと連携してGlueジョブをトリガー
→ S3に新しいデータが追加されたら自動でGlueジョブを実行

📌 Step 2: CloudWatchを活用したGlueジョブの監視強化
→ CloudWatchログを解析し、異常検知・通知を自動化

📌 Step 3: データカタログの活用
→ AWS Glueのデータカタログを活用し、ETLのデータ管理を強化

AWS Glueのジョブブックマークを活用し、PowerShellを用いたETLの自動化に取り組むことで、業務の効率化・データ処理の最適化を実現できます。
ぜひ、この記事を参考に実践してみてください！

PowerShell
PowerShell データ処理 ETL AWS Glue ジョブブックマーク

この記事を書いた人

佐藤健司のアバター 佐藤健司

実務の現場で詰まりがちなポイントを地図にするITブログ「IT trip」を運営。Windows／Office（Teams・Excel）からSQL、サーバ運用、ガジェットまで、再現性のある手順と“なぜそうなるか”を丁寧に解説します。読んだらすぐ試せること、そして迷った人の次の一歩が見えることを大切にしています。

関連記事

コメント

コメントする

目次