aws-recipe-user こんにちは！ JQです。
前回は『Amazon VPC編～Vyatta on EC2 パート② ～』ということで、Vyattaの設定と疎通確認を試してみました。
今回は『OSS編～Fluented & Elasticseach & Kibana パート①～』と題して、Fluented & Elasticseach & Kibanaでログ解析を試してみたいと思います。
| Fluented & fluent-plugin-elasticsearch |
ログ収集ツール Elasticseach と連携するためのプラグイン |
| Elasticseach | リアルタイム検索等に利用出来るRestfulインターフェースで提供される検索・分析エンジン |
| Kibana | 情報をグラフィカルに描画して扱えるGUIアプリケーション※Kibanaではログ収集ツールにLogstashを推奨 |
それではやってみましょう！
環境の構築
1.必要モジュールのインストール
先ずは必要なモジュールをインストールします。
|
1 2 3 |
# yum -y install gcc gcc-c++ ruby ruby-devel rubygems rdoc git httpd # gem install bundler # /etc/rc.d/init.d/httpd start |
Elasticseachのインストール
2. Elasticseachのインストール
今回はRPMを利用してElasticseachをインストールしてみます。
|
1 2 3 4 |
# wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-0.90.3.noarch.rpm # rpm -i elasticsearch-0.90.3.noarch.rpm # /etc/rc.d/init.d/elasticsearch start Starting elasticsearch: [ OK ] |
Fluentedとfluent-plugin-elasticsearchをインストール
3.Fluentedのインストール
次にFluentedとfluent-plugin-elasticsearchをインストールします。
※Fluented本体は以前の記事をご参照下さい。
|
1 2 3 4 5 6 7 8 9 10 11 |
# /usr/lib64/fluent/ruby/bin/fluent-gem install fluent-plugin-elasticsearch Fetching: fluent-plugin-elasticsearch-0.1.4.gem (100%) Fetching: cool.io-1.1.1.gem (100%) Building native extensions. This could take a while... Successfully installed fluent-plugin-elasticsearch-0.1.4 Successfully installed cool.io-1.1.1 2 gems installed Installing ri documentation for fluent-plugin-elasticsearch-0.1.4... Installing ri documentation for cool.io-1.1.1... Installing RDoc documentation for fluent-plugin-elasticsearch-0.1.4... Installing RDoc documentation for cool.io-1.1.1... |
Elasticseach用の設定を追加します。
「include_tag_key true」と「tag_key @log_name」を設定することで kibana で「tag_key」による絞り込みが可能となります。
|
1 |
# vim /etc/td-agent/td-agent.conf |
|
1 2 3 4 5 6 7 |
<source> type tail format apache path /var/log/httpd/access.log tag ec2.apache.access pos_file /tmp/apache.pos </source> |
|
1 2 3 4 5 6 7 8 9 10 11 |
<match *.apache.*> index_name fluent-elas type_name apache type elasticsearch include_tag_key true tag_key @log_name host xxx.xxx.xxx.xxx port 9200 logstash_format true flush_interval 10s </match> |
設定を反映させます。
|
1 2 3 |
# /etc/rc.d/init.d/td-agent restart Shutting down td-agent: [ OK ] Starting td-agent: [ OK ] |
今回はここまでとなります。
いかがでしたでしょうか？
次回は『OSS編～Fluented & Elasticseach & Kibana パート②～』ということで、Kibanaをインストールして実際にログを解析してみたいと思います。
お楽しみに！
——————————————————————————————————
ナレコムクラウドのFacebookに『いいね！』をクリックして頂くと
最新のお役立ちレシピが配信されます★
┏━━━━━━━━━━━━━┓
┃ナレコムクラウド Facebook┃
┗━━━━━━━━━━━━━┛
——————————————————————————————————
