※1:アヤメのデータをサンプルとするのは何故か?
→アヤメのデータでなければならない理由はありませんが、次の三点からこのデータを選びました。
・オープンデータであること →この記事をご覧になった方が、データ作成の手間無くすぐに、同じデータで、同じことが出来る
・データ量が小さい →ダウンロードや処理に時間がかからない
・CSV形式 →AWS Glueで扱えるデータ形式の中で恐らく最も広く知られている
※2:アヤメのデータで何をするのか?
→この構築では、AWS Glueを動かすこと自体を目的として、なるべく簡単に試すことにしました。従って、データの変換・加工も、『列の順番を変える』『特定の列を削除する』など、ごく簡単な内容にとどめました(第2回で実行します)。勿論、AWS Glueでは、Jobのスクリプト次第で、データの結合などのより高度な処理も実現出来ます。
S3バケットとフォルダの作成
S3バケットを作成し、『input』『output』『script』『temp』の4フォルダを作成します。
『input』フォルダにサンプルデータを格納します。
Databaseの作成
AWS Glueを選択します。
左ペインの『Database』を選択します。
『Add database』ボタンをクリックします。
Database名を入力して、『Create』ボタンをクリックします。
Databaseが作成されました。左ペインの『Crawlers』を選択します。
Crawlerの作成と実行
『Add crawler』ボタンをクリックします。
Crawler名を入力します。
『Inclue path』欄の横に表示されるフォルダマークをクリックします。
先程作成したS3バケットの『input』フォルダを選択します。
『Include path』の末尾に『/(スラッシュ)』を付けて、『Next』ボタンをクリックします。
『Next』ボタンをクリックします。
作成するIAMロール名を入力して、『Next』ボタンをクリックします。
『Next』ボタンをクリックします。
先程作成したDatabaseを選択して、『Next』ボタンをクリックします。
『Finish』ボタンをクリックします。
Crawlerが作成されました。作成したCrawlerのチェックボックスをチェックします。
『Run crawler』ボタンをクリックします。
Crawlerが開始され、『Status』が『Starting』になります。
Crawlerが終了すると、『Status』に処理時間が表示されます。
Tableの確認
左ペインの『Tables』を選択し、作成されたTableのチェックボックスをチェックします。
『Action』から『View details』を選択します。
Tableの詳細が表示されます。『Schema』にデータの列名、データ型が表示されていることが確認出来ます。
まとめ
第1回はサンプルデータの準備から、データの列名や型(メタデータ)を取得するまでを実行しました。
第2回( /archives/11753 )へ続きます。