aws-recipe-user ※本記事は以前のものをリニューアルした記事になります。
こんにちは！Tamaです！
前回は「Renewal! Amazon EMR編～ElasticMapReduceの使い方パート③～」と題してEMRで処理を行った結果を見ていきました。
今回はデバッグを設定した場合のログなどを見ていきたいと思います。
デバッグの設定方法
デバッグの設定はクラスターを立ち上げる時にのみ設定が可能です。
クラスターの作成 詳細オプションの「ステップ 3:クラスターの全般設定」より設定を行います。
ログ記録とデバッグにチェックを付けることで有効になります。
デバッグの確認方法
ログの確認を行ってみます。
クラスターリストから対象のクラスターを選択し「詳細を表示」をクリックします。
デバッグを設定しているとステップの「ログの表示」が選択できるようになります。
クリックをすると左から「システムログ」「標準エラーログ」「標準出力」を表示するリンクが表示されます。
また、詳細表示の「ステップ」から処理のステップ一覧を確認することができます。
「ジョブの表示」をクリックすることでステップに関連付いたジョブが表示されます。
更に「タスクの表示」でタスクの一覧が確認できます。
「試行の表示」をクリックすることでタスクの実行結果を確認できます。
今回は以上になります！
お疲れさまでした！
今回初めてEMRを使用しましたがサーバーにログインすることなくコンソール上から簡単にクラスターの設定から分散処理、結果やログの確認までができました。
簡単に分散処理を行うことができるEMRぜひ使ってみてはいかがでしょうか。
またお会いしましょう！
