aws-recipe-user 渡邊です。
前回（http://recipe.kc-cloud.jp/archives/11724）に引き続き、AWS Glueを動かすこと自体を目的とし、なるべく簡単な構成と処理内容で試してみようと思います。サンプルデータは、機械学習でよく用いられるアヤメのデータを使用しています。
構成
構築する構成を下図に再掲します。
S3バケットからデータをインプットし、同じS3バケットへアウトプットします。
全体の流れ
第2回である今回は、『IAMの変更』から進めます。
第1回
・サンプルデータの準備
・S3バケットとフォルダの作成
・Databaseの作成
・Crawlerの作成と実行
・Tableの確認
第2回
・IAMの変更
・Jobの作成と実行
・結果の確認
IAMの変更
IAMの画面で、前回作成したIAMロールを選択します。
『ポリシーの編集』ボタンをクリックします。
『リソース』が表示されている部分をクリックします。
『編集』ボタンをクリックします。
ARNの指定を『arn:aws:s3:::[作成したS3バケット名]/*』に編集して、『変更の保存』ボタンをクリックします。
『Review policy』ボタンをクリックします。
『Save changes』ボタンをクリックします。
ポリシーが変更されていることが確認出来ます。
Jobの作成と実行
AWS Glueの画面で、左ペインの『Jobs』を選択します。
『Add job』を選択します。
・Job名を入力します。
・IAMロールは第1回で作成したもの（先程ポリシーを編集したもの）を指定します。
・スクリプト格納用のS3パスとして、第1回で作成した『script』フォルダを指定します。
・一時ディレクトリとして、第1回で作成した『temp』フォルダを指定します。
・『Next』ボタンをクリックします。
『input』のラジオボタンを選択して、『Next』ボタンをクリックします。
『Create tables in your data target』を選択します。
・『Data store』に『Amazon S3』を選択します。
・『Format』は『CSV』を選択します。
・『Target path』に第1回で作成した『output』フォルダを選択します。
・『Next』ボタンをクリックします。
SourceからTargetへ、どのような変換や加工を行うかを設定します。
右上の『Add column（Target列の追加）』『Clear（Target列の全削除）』『Reset（Target列の初期化）』ボタンや、Target各列の右に表示されている『×（Target列の削除）』『↓（順序を下へ移動）』『↑（順序を上へ移動）』で設定出来ます。
今回は『class』列を削除して、残りの列の順序を変更します。
『Next』ボタンをクリックします。
『Save job and edit script』ボタンをクリックします。
JobのPySparkスクリプトが表示されます。今回は何も編集せず、右上の『×』ボタンをクリックします。
PySparkスクリプトは下記の通りです。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 |
import sys from awsglue.transforms import * from awsglue.utils import getResolvedOptions from pyspark.context import SparkContext from awsglue.context import GlueContext from awsglue.job import Job ## @params: [JOB_NAME] args = getResolvedOptions(sys.argv, ['JOB_NAME']) sc = SparkContext() glueContext = GlueContext(sc) spark = glueContext.spark_session job = Job(glueContext) job.init(args['JOB_NAME'], args) ## @type: DataSource ## @args: [database = "glue-db", table_name = "input", transformation_ctx = "datasource0"] ## @return: datasource0 ## @inputs: [] datasource0 = glueContext.create_dynamic_frame.from_catalog(database = "glue-db", table_name = "input", transformation_ctx = "datasource0") ## @type: ApplyMapping ## @args: [mapping = [("petal width in cm", "double", "petal width in cm", "double"), ("petal length in cm", "double", "petal length in cm", "double"), ("sepal width in cm", "double", "sepal width in cm", "double"), ("sepal length in cm", "double", "sepal length in cm", "double")], transformation_ctx = "applymapping1"] ## @return: applymapping1 ## @inputs: [frame = datasource0] applymapping1 = ApplyMapping.apply(frame = datasource0, mappings = [("petal width in cm", "double", "petal width in cm", "double"), ("petal length in cm", "double", "petal length in cm", "double"), ("sepal width in cm", "double", "sepal width in cm", "double"), ("sepal length in cm", "double", "sepal length in cm", "double")], transformation_ctx = "applymapping1") ## @type: DataSink ## @args: [connection_type = "s3", connection_options = {"path": "s3://[Bucket name]/output"}, format = "csv", transformation_ctx = "datasink2"] ## @return: datasink2 ## @inputs: [frame = applymapping1] datasink2 = glueContext.write_dynamic_frame.from_options(frame = applymapping1, connection_type = "s3", connection_options = {"path": "s3://[Bucket name]/output"}, format = "csv", transformation_ctx = "datasink2") job.commit() |
作成したJobのチェックボックスをチェックします。
『Action』から『Run job』を選択します。
『Run job』ボタンをクリックします。
Jobが開始されます。Jobのチェックボックスをチェックします。
Jobの『Run status』が『Running』になっていることが確認出来ます。
暫く待つとJobの『Run status』が『Succeeded』になって終了します。
結果の確認
S3バケットの『output』フォルダに結果ファイルが出力されていることが確認出来ます。
ファイルの内容は下記の通りです。Jobで設定した通りに出力されていることが確認出来ます。
|
1 2 3 4 5 6 7 8 9 10 11 12 |
"petal width in cm","petal length in cm","sepal width in cm","sepal length in cm" 0.2,1.4,3.5,5.1 0.2,1.4,3.0,4.9 0.2,1.3,3.2,4.7 0.2,1.5,3.1,4.6 0.2,1.4,3.6,5.0 （中略） 2.3,5.2,3.0,6.7 1.9,5.0,2.5,6.3 2.0,5.2,3.0,6.5 2.3,5.4,3.4,6.2 1.8,5.1,3.0,5.9 |
Jobのスクリプトも『script』フォルダに出力されます。
おわりに
以上、AWS Glueを動かすこと自体を目的に、なるべく簡単な構成と処理内容で試してみました。次はデータベースやデータウェアハウスへのデータロード、PySparkスクリプトを編集してのより高度な処理などに挑戦したいと思います。
最後までご覧頂きありがとうございました。
参考リンク
[1] AWS Glue
https://aws.amazon.com/jp/glue/
[2] AWS Glue とは
https://docs.aws.amazon.com/ja_jp/glue/latest/dg/what-is-glue.html
[3] AWS Black Belt – AWS Glue
https://www.slideshare.net/AmazonWebServicesJapan/aws-black-belt-aws-glue
[4] GitHub – aws-samples/aws-glue-samples: AWS Glue code samples
https://github.com/aws-samples/aws-glue-samples
[5] AWS Glueの概要について
http://recipe.kc-cloud.jp/archives/10260
[6] 正式リリースになったAWS Glueを使ってみる ～準備編～
http://recipe.kc-cloud.jp/archives/10184
