ELB編~ELBのアクセスログをEMRで解析~

Pocket

こんにちは! JQです。

前回は『ELB編~ELBのアクセスログ機能~』と題して、ELBの新機能であるアクセスログ機能を試してみました。
今回は『EMR編~ELBのアクセスログをEMRで解析~』と題して、ELBの新機能であるアクセスログ機能で取得したデータをEMRで解析してみたいと思います。

クラスターの起動

1. クラスターの起動
「Create Cluster」でクラスターを起動します。

alt

Cluster名やログ設定を入力します。
Create Cluster02

ソフトウェアの設定を入力します。
「Hadoop distribution」にAmazonの3.0.4を選択します。
Create Cluster03

インスタンス設定を入力します。
Create Cluster04

アクセスの設定をします。

Create Cluster05

Bootstrapの設定をします。
Create Cluster06

StepでスクリプトやOutputの設定をします。
以下のスクリプトでステータス200以外を取得してみます。

Create Cluster07

開始されたのを確認します。

Create Cluster08

2. 確認
それでは確認してみます。

「Waiting after step completed」になっていれば成功しています。
Create Cluster09
実際にS3を確認してみます。

Create Cluster10

実際の結果も確認してみます。
Create Cluster11

ステータスが200が無ければ成功です。

最後にEMRを削除しましょう。

いかがでしたでしょうか?
次回もお楽しみに!!!