AWS Glueを使ってみた 第1回

※1:アヤメのデータをサンプルとするのは何故か?

→アヤメのデータでなければならない理由はありませんが、次の三点からこのデータを選びました。

・オープンデータであること →この記事をご覧になった方が、データ作成の手間無くすぐに、同じデータで、同じことが出来る

・データ量が小さい →ダウンロードや処理に時間がかからない

・CSV形式 →AWS Glueで扱えるデータ形式の中で恐らく最も広く知られている

※2:アヤメのデータで何をするのか?

→この構築では、AWS Glueを動かすこと自体を目的として、なるべく簡単に試すことにしました。従って、データの変換・加工も、『列の順番を変える』『特定の列を削除する』など、ごく簡単な内容にとどめました(第2回で実行します)。勿論、AWS Glueでは、Jobのスクリプト次第で、データの結合などのより高度な処理も実現出来ます。

S3バケットとフォルダの作成

S3バケットを作成し、『input』『output』『script』『temp』の4フォルダを作成します。

『input』フォルダにサンプルデータを格納します。

Databaseの作成

AWS Glueを選択します。

左ペインの『Database』を選択します。

『Add database』ボタンをクリックします。

Database名を入力して、『Create』ボタンをクリックします。

Databaseが作成されました。左ペインの『Crawlers』を選択します。

Crawlerの作成と実行

『Add crawler』ボタンをクリックします。

Crawler名を入力します。

『Inclue path』欄の横に表示されるフォルダマークをクリックします。

先程作成したS3バケットの『input』フォルダを選択します。

『Include path』の末尾に『/(スラッシュ)』を付けて、『Next』ボタンをクリックします。

『Next』ボタンをクリックします。

作成するIAMロール名を入力して、『Next』ボタンをクリックします。

『Next』ボタンをクリックします。

先程作成したDatabaseを選択して、『Next』ボタンをクリックします。

『Finish』ボタンをクリックします。

Crawlerが作成されました。作成したCrawlerのチェックボックスをチェックします。

『Run crawler』ボタンをクリックします。

Crawlerが開始され、『Status』が『Starting』になります。

Crawlerが終了すると、『Status』に処理時間が表示されます。

Tableの確認

左ペインの『Tables』を選択し、作成されたTableのチェックボックスをチェックします。

『Action』から『View details』を選択します。

Tableの詳細が表示されます。『Schema』にデータの列名、データ型が表示されていることが確認出来ます。

まとめ

第1回はサンプルデータの準備から、データの列名や型(メタデータ)を取得するまでを実行しました。

第2回( /archives/11753 )へ続きます。

この記事を書いた人

aws-recipe-user