Profile

こうブログ

Notes to Self


AWSで作るはじめてのETL【StepFunctions編集】

2024年1月1日 Portfolio
Tags: aws etl workshop stepfunctions presentations

概要

トリガー起動されたStepFunctionsのワークフローを編集する。

StepFunctions

StepFunctionsに遷移

StepFunctions選択

自分のStepFunctionsをクリック

編集

StepFunctions構築

1. Choice

Choiceステートを選択してドラッグ&ドロップ

2. Add new choice rule

Add new choice ruleをクリックしてルールを追加する

6個になるように作る(Rule #5になるまで)

3. StartJobRun

StartJobRunステートを選択して「ここに状態をドロップ」の場所にドラッグ&ドロップ

5個になるように作る

4. Fail

Failステートを選択して「ここに状態をドロップ」の場所にドラッグ&ドロップ

5. StartJobRun 状態名

StartJobRun ステートの設定より、状態名を編集

6. StartJobRun 引数と出力

StartJobRun ステートの引数と出力より、引数を編集

{
  "JobName": "job-[自分の名前]-[番号]-import-users"
}

7. 他のJob編集

同様にして他のジョブも修正する

8. Choice編集

Choiceのルールをクリックする

Rule #1 ~ Rule #5及び Default rule を下記のように修正する

保存

保存をクリック

動作確認

s3-[自分の名前]-[番号]-datalakeusersフォルダに下記ファイルをアップロードする

名前は users.csv にすることに注意

前回アップロードしたファイルを上書きして良い

users.csv

動作確認: Glue Job確認

自身のStepFunctionsが動いていて、import-usersをキックしていればOK

一覧に戻る

構築一覧に戻る