リニューアル! Amazon EMR編~ElasticMapReduceの使い方パート④~

※本記事は以前のものをリニューアルした記事になります。 こんにちは!Tamaです! 前回は「Renewal! Amazon EMR編~ElasticMapReduceの使い方パート③~」と題してEMRで処理を行った結果を見ていきました。 今回はデバッグを設定した場合のログなどを見ていきたいと思います。 デバッグの設定方法 デバッグの設定はクラスターを立ち上げる時にのみ設定... 続きを読む

リニューアル! Amazon EMR編~ElasticMapReduceの使い方パート③~

※本記事は以前のものをリニューアルした記事になります。 こんにちは!Tamaです! 前回は「Renewal! Amazon EMR編~ElasticMapReduceの使い方パート②~」と題してクラスターを作成し実際に処理を行いました。 今回は実行結果や設定内容を見ていきたいと思います。 クラスターのステータスの確認 はじめに前回起動したクラスターの状態を確認しておきます... 続きを読む

リニューアル! Amazon EMR編~ElasticMapReduceの使い方パート②~

※本記事は以前のものをリニューアルした記事になります。 こんにちは!Tamaです! 前回は「Renewal! Amazon EMR編~ElasticMapReduceの使い方パート①~」と題してEMRを使用するための準備を行いました。 今回は実際にEMRの立ち上げを行います。 クラスターの立ち上げ クラスターの設定を行います。 ログ記録 作成したS3バケットのl... 続きを読む

リニューアル! Amazon EMR編~ElasticMapReduceの使い方パート①~

こんにちは!Tamaです! ElasticMapReduceの使い方は以前当レシピで紹介させて頂きましたがコンソール画面や設定などアップデートにより変わっているところが多いため新しいコンソール画面と共に改めてご紹介させて頂きます! 以前と同じくAWSドキュメントの「Word Count Example」を試していきます。 準備 Amazon EMRを使用するための準備を行い... 続きを読む

EMRで利用できる分散処理フレームワークHadoopとは

こんにちは、たいしゅうです。 今回は、EMRで利用できるHadoopについて紹介したいと思います。 【膨大なデータを処理する方法】 そもそもビッグデータ分析のような「膨大なデータを処理したい」という要求を満たすには、 下記の3つのパターンがあります。 1.プログラムの処理ロジックを磨き上げる(パフォーマンスチューニング) 2.処理するコンピュータの性能をパワーアップする(スケー... 続きを読む

AWSデータベース紹介編~AWSの様々なDBサービス編⑥~

こんにちは!HEROです。 前回はEMR導入編として、Hadoopについてご説明しました。 今回はいよいよ、EMRの特徴や料金体系についてみていきましょう。 ▼ 前回の記事はこちら AWSデータベース紹介編~AWSの様々なDBサービス編⑤~ ◯EMRの特徴 まずはEMRの特徴からです。 ・伸縮自在!! AWSといったらまずはこれですね! EMRのイメージは大量のPCを... 続きを読む

AWSデータベース紹介編~AWSの様々なDBサービス編⑤~

こんにちは!HEROです。 さて、前回までAWS DB編と題してDynamoDBやRedShiftについてご紹介させてただきましたが、今回はそれらと関係の深いサービスのEMRについてご紹介していきます。 ▼ これまでの記事はこちら AWSデータベース紹介編~AWSの様々なDBサービス編~ AWSデータベース紹介編~AWSの様々なDBサービス編②~ AWSデータベース紹介編~AWS... 続きを読む

Amazon DynamoDB編~データをエクスポートしよう~

こんにちは!Narimasaです! 以前、「Amazon DynamoDB編~DynamoDBをはじめてみよう!」というタイトルで記事を掲載していますが、その頃から約1年が経ちDynamoDBも進化してきました! 今回は「Amazon DynamoDB編~データをエクスポートしよう~」と題して、AWSコンソールを使ってDynamoDBからデータをエクスポートする手順を紹介します。 ▼... 続きを読む

ELB編~ELBのアクセスログをEMRで解析~

こんにちは! JQです。 前回は『ELB編~ELBのアクセスログ機能~』と題して、ELBの新機能であるアクセスログ機能を試してみました。 今回は『EMR編~ELBのアクセスログをEMRで解析~』と題して、ELBの新機能であるアクセスログ機能で取得したデータをEMRで解析してみたいと思います。 クラスターの起動 1. クラスターの起動 「Create Cluster」でクラスターを... 続きを読む

Amazon EMR編~ElasticMapReduceの使い方パート④~

こんにちは! JQです。 前回のレシピでは『Amazon Redshift編~Redshiftをはじめてみよう!パート②~』ということでお話しました。  今回は既に以前のレシピで記述したAmazon EMR編に一旦、戻りまして『Amazon EMR編~ElasticMapReduceの使い方パート④~』と題して、Amazon EMRにて、デバッグを利用した場合を確認していきたいと思います。... 続きを読む