AWSで作るはじめてのETL【Glue Jobs】

概要

ETL処理を実装するGlue Jobsと、Glue Jobの権限を管理するIAMロールを作成します。

IAMロール作成

一覧よりIAMをクリック。

ロール作成

信頼されたエンティティを選択

• 信頼されたエンティティタイプ: AWS のサービス
• ユースケース: Glue

許可を追加

下記許可ポリシーを検索し、チェックを入れる

• AWSGlueServiceRole
• AmazonRedshiftFullAccess
• AmazonS3FullAccess
• AmazonVPCFullAccess
• AWSGlueConsoleFullAccess
• SecretsManagerReadWrite

「次へ」

名前、確認、および作成

下記の通りに設定。

それ以外はデフォルトでOK。

• ロールの詳細:
  • ロール名: role-[自分の名前]-[番号]-glue-jobs

「作成」

Glue

一覧よりGlueクリック

Glue ETL jobs

Create job > Visual ETL

をクリック。

job設定

Job detailsをクリックし、下記の通りに設定する。

言及されていない設定はデフォルトのままでOK。

• Name: job-[自分の名前]-[番号]-import-users
• IAM Role: role-[自分の名前]-[番号]-glue-jobs (さっき作ったIAMロール)

saveをクリックして保存。

job作成　その他

同様に「job作成」->「job設定」を繰り返し、下記名前のGlue Jobを作成する

• job-[自分の名前]-[番号]-import-products
• job-[自分の名前]-[番号]-import-orders
• job-[自分の名前]-[番号]-import-order_items
• job-[自分の名前]-[番号]-import-weather

job実行

自分のジョブを選択し、Run job。

この時、いずれか一つのジョブで良い

Succeeded

対象ジョブのRunsより実行を確認し、うまくいけば成功

一覧に戻る

構築一覧に戻る