リニューアル! Amazon EMR編~ElasticMapReduceの使い方パート②~

※本記事は以前のものをリニューアルした記事になります。 こんにちは!Tamaです! 前回は「Renewal! Amazon EMR編~ElasticMapReduceの使い方パート①~」と題してEMRを使用するための準備を行いました。 今回は実際にEMRの立ち上げを行います。 クラスターの立ち上げ クラスターの設定を行います。 ログ記録 作成したS3バケットのl... 続きを読む

リニューアル! Amazon EMR編~ElasticMapReduceの使い方パート①~

こんにちは!Tamaです! ElasticMapReduceの使い方は以前当レシピで紹介させて頂きましたがコンソール画面や設定などアップデートにより変わっているところが多いため新しいコンソール画面と共に改めてご紹介させて頂きます! 以前と同じくAWSドキュメントの「Word Count Example」を試していきます。 準備 Amazon EMRを使用するための準備を行います。 ... 続きを読む

AWS Lambdaを使ってEC2を定時起動・停止してみた

こんにちは!Tamaです! 今回はコスト削減のためインスタンスを定時で起動し定時で停止するLambda関数を作成したいと思います。 Auto Scalingでも定時起動停止は可能ですが今回はLambdaからでの設定を紹介します。 準備 AWS CLI とLambda(Python)からcliを使用する際に必要なモジュールをインストールします。 こちらを参考にさせて頂きまし... 続きを読む

EMRで利用できる分散処理フレームワークHadoopとは

こんにちは、たいしゅうです。 今回は、EMRで利用できるHadoopについて紹介したいと思います。 【膨大なデータを処理する方法】 そもそもビッグデータ分析のような「膨大なデータを処理したい」という要求を満たすには、 下記の3つのパターンがあります。 1.プログラムの処理ロジックを磨き上げる(パフォーマンスチューニング) 2.処理するコンピュータの性能をパワーアップする(スケー... 続きを読む

AWS CLIでCloudWatchのメトリクスを取得してみた

こんにちは!Tamaです! 今回はコマンドラインからAWSのCloudWatchメトリクスを取得する方法を紹介していきます。 メトリクスの取得 今回はCPU使用率を取得します。 メトリクスを取得する前に下記コマンドで必要な情報を確認します。 metric-nameでCPU使用率を指定しました。 [crayon-5929b6ac4810c816475989/] ... 続きを読む

AWS AIDEを使って改ざん検知をしてみた

こんにちは!Gです! 今回は、AWSのAMIのリポジトリにデフォルトで組み込まれているAIDEというツールを使い、サーバー内のファイルの改ざん検知をしてみます。 一回目の今回は、インスタンス内にAIDEをインストールし、ファイルが改ざんされたら、ログファイルに記録するまでの手順を紹介していきます。 1.EC2インスタンスへの接続 SSHを使いAmazon Linuxのインスタン... 続きを読む

macOS SierraでAWSCLIを使えるようにする

こんにちは!Gです! 今回はMac OS sierraでAWSCLIを使えるようにHomebrewのインストールとAWSCLIの設定を行い開発環境として使う手順をまとめます。 1.Homebrewのインストール HomebrewとはMac OS用のパッケージ管理システムです。 Homebrewを使う事により使いたいシステム(node.js等)を簡単にインストールする、アップデートす... 続きを読む

Amazon QuickSight Enterprise Editionについて調べてみた

こんにちは!HEROです。 Cloud Days 2016ではミニシアターでデータ活用について熱く語らせて頂きました! みなさんもどんどんデータ集めて活用しましょう。 さて本題です。 そんなデータの活用や分析に欠かせないBIツールの中でも、AWSが提供するAmazon QuickSightにEnterprise Editionなるものがリリースされたので調べてみました。 ◯A... 続きを読む

クラウドで利用できるGPUを比較してみた

大柳です。 先日、GCP(Google Cloud Platform)でGPUインスタンスが利用可能になったと発表されました。GCPの対応によりAWS、Azure、GCPの主要なクラウドでGPUインスタンスが出揃った形になります。 GPUインスタンスは機械学習や科学計算などHPC(high-performance computing)に利用されます。最近、話題になった線画自動着色の「Pai... 続きを読む

AWS CLIでCloudwatchのアラートを設定してみた

こんにちは!Tamaです! 今回はCloudwatchのアラートの作成をCLIで行っていきたいと思います。 まずはアラームを作成するにあたり必要な情報を取得します。 cloudwatchのlist-metricsコマンドで確認することが出来ます。 [crayon-5929b6ac4992f330470656/] 取得した情報から今回はEC... 続きを読む
2 / 7912345...最後 »