EC2でファイル監査を設定する(fluentd exec_filter設定編)

大柳です。 前回記事では、auditログをfluentd経由でCloudWatch Logsに連携できることが確認できました。 前回記事:EC2でファイル監査を設定する(fluentd+CloudWatch Logs設定編) 今回はexec_filter Output Pluginを使ってログを加工してCloudWatch Logsに連携してみます。 全体構成は以下の通りです。 ... 続きを読む

EC2でファイル監査を設定する(fluentd+CloudWatch Logs設定編)

大柳です。 前回はLinuxのauditd機能とAWSのCloudWatch Logsを利用してファイル監査の仕組みを作ることができましたが、ログにユーザ名が出なかったり、タイムスタンプがUnix時間だったりと課題がありました。 前回記事:EC2でファイル監査を設定する(CloudWatch Logs設定編) 今回はさらにfluentdも組み合わせて、この課題を解消したいと思います。... 続きを読む

AWS Server Migration Serviceについて調べてみました

こんにちは、たいしゅうです。 今回は、最近のAWSでサーバレスと同じくらい注目度のある「移行」ができるサービスとして、すでにDBの移行ができるサービスAWS Database Migration Serviceがありますが、DBだけでなく、仮想サーバの移行サービスも登場しました。それが、今回のテーマであるAWS Server Migration Service(以下、AWS SMS)です。 ... 続きを読む

リニューアル! Amazon EMR編~ElasticMapReduceの使い方パート④~

※本記事は以前のものをリニューアルした記事になります。 こんにちは!Tamaです! 前回は「Renewal! Amazon EMR編~ElasticMapReduceの使い方パート③~」と題してEMRで処理を行った結果を見ていきました。 今回はデバッグを設定した場合のログなどを見ていきたいと思います。 デバッグの設定方法 デバッグの設定はクラスターを立ち上げる時にのみ設定... 続きを読む

リニューアル! Amazon EMR編~ElasticMapReduceの使い方パート③~

※本記事は以前のものをリニューアルした記事になります。 こんにちは!Tamaです! 前回は「Renewal! Amazon EMR編~ElasticMapReduceの使い方パート②~」と題してクラスターを作成し実際に処理を行いました。 今回は実行結果や設定内容を見ていきたいと思います。 クラスターのステータスの確認 はじめに前回起動したクラスターの状態を確認しておきます... 続きを読む

リニューアル! Amazon EMR編~ElasticMapReduceの使い方パート②~

※本記事は以前のものをリニューアルした記事になります。 こんにちは!Tamaです! 前回は「Renewal! Amazon EMR編~ElasticMapReduceの使い方パート①~」と題してEMRを使用するための準備を行いました。 今回は実際にEMRの立ち上げを行います。 クラスターの立ち上げ クラスターの設定を行います。 ログ記録 作成したS3バケットのl... 続きを読む

リニューアル! Amazon EMR編~ElasticMapReduceの使い方パート①~

こんにちは!Tamaです! ElasticMapReduceの使い方は以前当レシピで紹介させて頂きましたがコンソール画面や設定などアップデートにより変わっているところが多いため新しいコンソール画面と共に改めてご紹介させて頂きます! 以前と同じくAWSドキュメントの「Word Count Example」を試していきます。 準備 Amazon EMRを使用するための準備を行います。 ... 続きを読む

AWS Lambdaを使ってEC2を定時起動・停止してみた

こんにちは!Tamaです! 今回はコスト削減のためインスタンスを定時で起動し定時で停止するLambda関数を作成したいと思います。 Auto Scalingでも定時起動停止は可能ですが今回はLambdaからでの設定を紹介します。 準備 AWS CLI とLambda(Python)からcliを使用する際に必要なモジュールをインストールします。 こちらを参考にさせて頂きまし... 続きを読む

EMRで利用できる分散処理フレームワークHadoopとは

こんにちは、たいしゅうです。 今回は、EMRで利用できるHadoopについて紹介したいと思います。 【膨大なデータを処理する方法】 そもそもビッグデータ分析のような「膨大なデータを処理したい」という要求を満たすには、 下記の3つのパターンがあります。 1.プログラムの処理ロジックを磨き上げる(パフォーマンスチューニング) 2.処理するコンピュータの性能をパワーアップする(スケー... 続きを読む

AWS CLIでCloudWatchのメトリクスを取得してみた

こんにちは!Tamaです! 今回はコマンドラインからAWSのCloudWatchメトリクスを取得する方法を紹介していきます。 メトリクスの取得 今回はCPU使用率を取得します。 メトリクスを取得する前に下記コマンドで必要な情報を確認します。 metric-nameでCPU使用率を指定しました。 [crayon-59eda1a424824670200805/] ... 続きを読む
1 / 212