こんにちは! JQです。
前回のレシピでは『Amazon Redshift編~Redshiftをはじめてみよう!パート②~』ということでお話しました。
今回は既に以前のレシピで記述したAmazon EMR編に一旦、戻りまして『Amazon EMR編~ElasticMapReduceの使い方パート④~』と題して、Amazon EMRにて、デバッグを利用した場合を確認していきたいと思います。
※なお、以前までのAmazon EMR編シリーズのレシピは以下を参照してください。
■Amazon EMR編~ElasticMapReduceの使い方パート①~
■Amazon EMR編~ElasticMapReduceの使い方パート②~
■Amazon EMR編~ElasticMapReduceの使い方パート③~
それでは実際に作業をおこなっていきましょう!
Debug出力設定方法
1. Debugの設定は「ADVANCED OPTIONS」で設定する事が可能です。
※前後の部分は『Amazon EMR編~ElasticMapReduceの使い方②~』をご参照下さい。
・Amazon S3 Log Path
2. ログを出力する先を指定します。
・Enable Debugging
3. Debugを有効にするかを指定します。
Debug確認方法
次に、ログの確認をします。
4. WEBコンソールからログを確認するにはDebugを有効にしたJobFlowを選択して「Debug」ボタンをクリックします。
5. 最初の画面ではJobFlow内のStepのリストを確認出来ます。
※一番上はログのStepになります。
また、右側の項目を選択する事でStepに関するログを確認できます。
6. 「View Jobs」をクリックする事でStepに関連付けられたJobsを確認出来ます。
7. 「View Tasks」をクリックする事でJobsに関連付けられたTasksのリストを確認できます。
8. 「Task Attempts」をクリックする事でTaskのを試した結果を確認出来ます。
9. 「stderr」「stdout」「syslog」をクリックする事でTaskを試した際に出たログを確認出来ます。
いかがでしたでしょうか?
次回は『Amazon Redshift編~Getting Startedパート③~』と題して、既に以前のレシピでお話しているAmazon Redshift編ということでお話したいと思いますので、お楽しみに!