Amazon EMR編~ElasticMapReduceの使い方パート④~


こんにちは! JQです。

前回のレシピでは『Amazon Redshift編~Redshiftをはじめてみよう!パート②~』ということでお話しました。 
今回は既に以前のレシピで記述したAmazon EMR編に一旦、戻りまして『Amazon EMR編~ElasticMapReduceの使い方パート④~』と題して、Amazon EMRにて、デバッグを利用した場合を確認していきたいと思います。

※なお、以前までのAmazon EMR編シリーズのレシピは以下を参照してください。

Amazon EMR編~ElasticMapReduceの使い方パート①~
Amazon EMR編~ElasticMapReduceの使い方パート②~
Amazon EMR編~ElasticMapReduceの使い方パート③~

それでは実際に作業をおこなっていきましょう!

Debug出力設定方法

1. Debugの設定は「ADVANCED OPTIONS」で設定する事が可能です。
※前後の部分は『Amazon EMR編~ElasticMapReduceの使い方②~』をご参照下さい。

・Amazon S3 Log Path

2. ログを出力する先を指定します。
・Enable Debugging

3. Debugを有効にするかを指定します。

20130517_01_01

Debug確認方法

次に、ログの確認をします。

4. WEBコンソールからログを確認するにはDebugを有効にしたJobFlowを選択して「Debug」ボタンをクリックします。

5. 最初の画面ではJobFlow内のStepのリストを確認出来ます。
※一番上はログのStepになります。
また、右側の項目を選択する事でStepに関するログを確認できます。

20130517_01_02

6. 「View Jobs」をクリックする事でStepに関連付けられたJobsを確認出来ます。

20130517_01_03

7. 「View Tasks」をクリックする事でJobsに関連付けられたTasksのリストを確認できます。

20130517_01_04

8. 「Task Attempts」をクリックする事でTaskのを試した結果を確認出来ます。

20130517_01_05

9. 「stderr」「stdout」「syslog」をクリックする事でTaskを試した際に出たログを確認出来ます。

20130517_01_06

いかがでしたでしょうか?

次回は『Amazon Redshift編~Getting Startedパート③~』と題して、既に以前のレシピでお話しているAmazon Redshift編ということでお話したいと思いますので、お楽しみに!