リニューアル! Amazon EMR編~ElasticMapReduceの使い方パート④~

※本記事は以前のものをリニューアルした記事になります。 こんにちは!Tamaです! 前回は「Renewal! Amazon EMR編~ElasticMapReduceの使い方パート③~」と題してEMRで処理を行った結果を見ていきました。 今回はデバッグを設定した場合のログなどを見ていきたいと思います。 デバッグの設定方法 デバッグの設定はクラスターを立ち上げる時にのみ設定... 続きを読む

リニューアル! Amazon EMR編~ElasticMapReduceの使い方パート③~

※本記事は以前のものをリニューアルした記事になります。 こんにちは!Tamaです! 前回は「Renewal! Amazon EMR編~ElasticMapReduceの使い方パート②~」と題してクラスターを作成し実際に処理を行いました。 今回は実行結果や設定内容を見ていきたいと思います。 クラスターのステータスの確認 はじめに前回起動したクラスターの状態を確認しておきます... 続きを読む

リニューアル! Amazon EMR編~ElasticMapReduceの使い方パート②~

※本記事は以前のものをリニューアルした記事になります。 こんにちは!Tamaです! 前回は「Renewal! Amazon EMR編~ElasticMapReduceの使い方パート①~」と題してEMRを使用するための準備を行いました。 今回は実際にEMRの立ち上げを行います。 クラスターの立ち上げ クラスターの設定を行います。 ログ記録 作成したS3バケットのl... 続きを読む

リニューアル! Amazon EMR編~ElasticMapReduceの使い方パート①~

こんにちは!Tamaです! ElasticMapReduceの使い方は以前当レシピで紹介させて頂きましたがコンソール画面や設定などアップデートにより変わっているところが多いため新しいコンソール画面と共に改めてご紹介させて頂きます! 以前と同じくAWSドキュメントの「Word Count Example」を試していきます。 準備 Amazon EMRを使用するための準備を行います。 ... 続きを読む

AWS Lambdaを使ってEC2を定時起動・停止してみた

こんにちは!Tamaです! 今回はコスト削減のためインスタンスを定時で起動し定時で停止するLambda関数を作成したいと思います。 Auto Scalingでも定時起動停止は可能ですが今回はLambdaからでの設定を紹介します。 準備 AWS CLI とLambda(Python)からcliを使用する際に必要なモジュールをインストールします。 こちらを参考にさせて頂きまし... 続きを読む

EMRで利用できる分散処理フレームワークHadoopとは

こんにちは、たいしゅうです。 今回は、EMRで利用できるHadoopについて紹介したいと思います。 【膨大なデータを処理する方法】 そもそもビッグデータ分析のような「膨大なデータを処理したい」という要求を満たすには、 下記の3つのパターンがあります。 1.プログラムの処理ロジックを磨き上げる(パフォーマンスチューニング) 2.処理するコンピュータの性能をパワーアップする(スケー... 続きを読む

AWS CLIでCloudWatchのメトリクスを取得してみた

こんにちは!Tamaです! 今回はコマンドラインからAWSのCloudWatchメトリクスを取得する方法を紹介していきます。 メトリクスの取得 今回はCPU使用率を取得します。 メトリクスを取得する前に下記コマンドで必要な情報を確認します。 metric-nameでCPU使用率を指定しました。 [crayon-599658c234f53034227966/] ... 続きを読む

AWS AIDEを使って改ざん検知をしてみた

こんにちは!Gです! 今回は、AWSのAMIのリポジトリにデフォルトで組み込まれているAIDEというツールを使い、サーバー内のファイルの改ざん検知をしてみます。 一回目の今回は、インスタンス内にAIDEをインストールし、ファイルが改ざんされたら、ログファイルに記録するまでの手順を紹介していきます。 1.EC2インスタンスへの接続 SSHを使いAmazon Linuxのインスタン... 続きを読む

macOS SierraでAWSCLIを使えるようにする

こんにちは!Gです! 今回はMac OS sierraでAWSCLIを使えるようにHomebrewのインストールとAWSCLIの設定を行い開発環境として使う手順をまとめます。 1.Homebrewのインストール HomebrewとはMac OS用のパッケージ管理システムです。 Homebrewを使う事により使いたいシステム(node.js等)を簡単にインストールする、アップデートす... 続きを読む

Amazon QuickSight Enterprise Editionについて調べてみた

こんにちは!HEROです。 Cloud Days 2016ではミニシアターでデータ活用について熱く語らせて頂きました! みなさんもどんどんデータ集めて活用しましょう。 さて本題です。 そんなデータの活用や分析に欠かせないBIツールの中でも、AWSが提供するAmazon QuickSightにEnterprise Editionなるものがリリースされたので調べてみました。 ◯A... 続きを読む