Amazon EMR編~ElasticMapReduceの使い方パート②~

2.「Job Flow Name」にはそのまま「My Job Flow」で「Hadoop Version」はデフォルトを指定します。

3.「Create a Job Flow」では「Run your own application.」で「JobType」を「Streaming」に指定します。

20130508_01_02

データとプログラムの設定

今回は以下を入力していきます。

  1. Input Location: 作成したS3バケットのInputフォルダを指定します。
  2. Output Location: 作成したS3バケットのOutputフォルダを指定します。

6.Mapper: アップロードしたwordSplitter.pyのパスを指定します。

1. Reducer: Hadoopの「aggregate」クラスを指定します

  1. Extra Args: 空白にします。
20130508_01_03

インスタンス設定

  1. インスタンス数やインスタンスタイプ等はデフォルトのままにします。
20130508_01_04

デバッグ設定

2. 今回はサンプルスクリプトを動かすだけなので、

デバッグとログファイルの指定場所だけを変更して進みます。

20130508_01_05

Bootstrap設定

  1. 実行開始時の動作に関してもデフォルトで進みます。
20130508_01_06

3. 確認後、問題なければ起動してみましょう!

20130508_01_07
20130508_01_08
いかがでしたでしょうか?

次回も『 Amazon EMR編~ElasticMapReduceの使い方パート③~ 』と題して、実際に出力された結果の確認を行いたいと思います。

お楽しみに!

この記事を書いた人

aws-recipe-user