EMRの課金体系について気になってみたので調べてみました

こんにちは、たいしゅうです。 今回は、気になるサービスの課金体系について紹介をしたいと思います。 EC2、RDSのように立てたらその分だけ課金がされるタイプや、EBSなどのようにある程度固定で決まった課金がされるものなど様々あるAWSサービス群。今回はそんな様々な課金モデルがあるAWSサービスの中から、ちょっと癖のあるサービスの課金体系を紹介したいと思います。そんなわけで今回は、「EMR(... 続きを読む

ALB(Application Load Balancer)をCLIで実装してみた

こんにちは!Tamaです! 今回はAWS CLIでALBの設定を行ってみます! 従来のaws elbコマンドではなくaws elbv2コマンドがALBのものになります! (ALBという表記になっているかと思い探し回ってしまいました・・) 以下の順番で行っていきます。 ・ターゲットグループの作成 ・ロードバランサの作成 ・リスナーの作成 ターゲットグループの作成 ... 続きを読む

リニューアル! Amazon EMR編~ElasticMapReduceの使い方パート④~

※本記事は以前のものをリニューアルした記事になります。 こんにちは!Tamaです! 前回は「Renewal! Amazon EMR編~ElasticMapReduceの使い方パート③~」と題してEMRで処理を行った結果を見ていきました。 今回はデバッグを設定した場合のログなどを見ていきたいと思います。 デバッグの設定方法 デバッグの設定はクラスターを立ち上げる時にのみ設定... 続きを読む

リニューアル! Amazon EMR編~ElasticMapReduceの使い方パート③~

※本記事は以前のものをリニューアルした記事になります。 こんにちは!Tamaです! 前回は「Renewal! Amazon EMR編~ElasticMapReduceの使い方パート②~」と題してクラスターを作成し実際に処理を行いました。 今回は実行結果や設定内容を見ていきたいと思います。 クラスターのステータスの確認 はじめに前回起動したクラスターの状態を確認しておきます... 続きを読む

リニューアル! Amazon EMR編~ElasticMapReduceの使い方パート②~

※本記事は以前のものをリニューアルした記事になります。 こんにちは!Tamaです! 前回は「Renewal! Amazon EMR編~ElasticMapReduceの使い方パート①~」と題してEMRを使用するための準備を行いました。 今回は実際にEMRの立ち上げを行います。 クラスターの立ち上げ クラスターの設定を行います。 ログ記録 作成したS3バケットのl... 続きを読む

リニューアル! Amazon EMR編~ElasticMapReduceの使い方パート①~

こんにちは!Tamaです! ElasticMapReduceの使い方は以前当レシピで紹介させて頂きましたがコンソール画面や設定などアップデートにより変わっているところが多いため新しいコンソール画面と共に改めてご紹介させて頂きます! 以前と同じくAWSドキュメントの「Word Count Example」を試していきます。 準備 Amazon EMRを使用するための準備を行います。 ... 続きを読む

EMRで利用できる分散処理フレームワークHadoopとは

こんにちは、たいしゅうです。 今回は、EMRで利用できるHadoopについて紹介したいと思います。 【膨大なデータを処理する方法】 そもそもビッグデータ分析のような「膨大なデータを処理したい」という要求を満たすには、 下記の3つのパターンがあります。 1.プログラムの処理ロジックを磨き上げる(パフォーマンスチューニング) 2.処理するコンピュータの性能をパワーアップする(スケー... 続きを読む

AWSデータベース紹介編~AWSの様々なDBサービス編⑥~

こんにちは!HEROです。 前回はEMR導入編として、Hadoopについてご説明しました。 今回はいよいよ、EMRの特徴や料金体系についてみていきましょう。 ▼ 前回の記事はこちら AWSデータベース紹介編~AWSの様々なDBサービス編⑤~ ◯EMRの特徴 まずはEMRの特徴からです。 ・伸縮自在!! AWSといったらまずはこれですね! EMRのイメージは大量のPCを... 続きを読む

AWSデータベース紹介編~AWSの様々なDBサービス編⑤~

こんにちは!HEROです。 さて、前回までAWS DB編と題してDynamoDBやRedShiftについてご紹介させてただきましたが、今回はそれらと関係の深いサービスのEMRについてご紹介していきます。 ▼ これまでの記事はこちら AWSデータベース紹介編~AWSの様々なDBサービス編~ AWSデータベース紹介編~AWSの様々なDBサービス編②~ AWSデータベース紹介編~AWS... 続きを読む

Amazon DynamoDB編~データをエクスポートしよう~

こんにちは!Narimasaです! 以前、「Amazon DynamoDB編~DynamoDBをはじめてみよう!」というタイトルで記事を掲載していますが、その頃から約1年が経ちDynamoDBも進化してきました! 今回は「Amazon DynamoDB編~データをエクスポートしよう~」と題して、AWSコンソールを使ってDynamoDBからデータをエクスポートする手順を紹介します。 ▼... 続きを読む
1 / 212