aws-recipe-user こんにちは！ JQです。
前回は『DynamoDB編～Localを試してみる②～』と題して、DynamoDB LocalをBotoで試してみました。
今回は『OSS編～FluentdでForwardを試してみる～』と題して、Fluentdでフォワードを試してみたいと思います。
フォワード設定
1.Fluentdのインストール
今回はフォワード元EC2から別のフォワード先EC2に対してフォワードしてみたいと思います。
先ずはFluentdのインストールをします。
インストールはこちらの『Fluentd編～ログ収集ツール～』という記事をご参照ください。
2.フォワード先EC2のFluentd設定
フォワード先のFluentd設定を行います。
※分かりやすいようにtime_slice_formatを短くしています。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 |
<source> type forward port 24224 bind 0.0.0.0 </source> <match apache.**> type file path /var/log/td-agent/forward time_slice_format %Y%m%d%H%M time_slice_wait 5m time_format %Y%m%dT%H%M%S%z compress gzip utc </match> |
再起動して以下のログが出ていれば成功です。
|
1 |
2014-07-24 16:27:00 +0900 [info]: listening fluent socket on 0.0.0.0:24224 |
3.フォワード元EC2の設定
続いてフォワード元EC2のFluentd設定を行います。
今回はApacheのログを送付してみます。
※td-agentがアクセスログにアクセス出来るようにしておきます。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 |
<source> type tail path /var/log/httpd/access_log format apache2 pos_file /var/log/td-agent/apache.pos tag apache.access </source> <match apache.**> type forward <server> host 172.16.0.246 port 24224 </server> flush_interval 60s </match> |
再起動して以下のようなログが出力されていればフォワードが設定されています。
|
1 |
2014-07-24 16:28:10 +0900 [info]: adding forwarding server '172.16.0.246:24224' host="172.16.0.246" port=24224 weight=60 |
確認
4.確認
それでは実際にフォワード元にHTTPでアクセスしてログを出力して確認してみます。
少し待ってフォワード先のpathで指定した場所を確認してみます。
|
1 2 3 4 5 |
$ ls -l /var/log/td-agent/ total 20 drwxrwxrwx 2 td-agent td-agent 4096 Jul 24 16:13 buffer -rw-r--r-- 1 td-agent td-agent 333 Jul 24 16:47 forward.201407240741_0.log.gz -rw-r--r-- 1 td-agent td-agent 8752 Jul 24 16:27 td-agent.log |
gzipで出力されています。
中を確認してみます。
|
1 2 3 4 5 6 7 8 9 10 11 12 |
$ gunzip forward.201407240741_0.log.gz $ tail forward.201407240741_0.log 20140724T074146+0000 apache.access {"host":"219.111.8.217","user":null,"method":"GET","path":"/favicon.ico","code":404,"size":289,"referer":null,"agent":"Mozilla/5.0 (Windows NT 6.3; WOW64; rv:30.0) Gecko/20100101 Firefox/30.0"} 20140724T074147+0000 apache.access {"host":"219.111.8.217","user":null,"method":"GET","path":"/icons/apache_pb2.gif","code":304,"size":null,"referer":"http://54.209.247.245/","agent":"Mozilla/5.0 (Windows NT 6.3; WOW64; rv:30.0) Gecko/20100101 Firefox/30.0"} 20140724T074147+0000 apache.access {"host":"219.111.8.217","user":null,"method":"GET","path":"/","code":403,"size":3839,"referer":null,"agent":"Mozilla/5.0 (Windows NT 6.3; WOW64; rv:30.0) Gecko/20100101 Firefox/30.0"} 20140724T074147+0000 apache.access {"host":"219.111.8.217","user":null,"method":"GET","path":"/","code":403,"size":3839,"referer":null,"agent":"Mozilla/5.0 (Windows NT 6.3; WOW64; rv:30.0) Gecko/20100101 Firefox/30.0"} 20140724T074147+0000 apache.access {"host":"219.111.8.217","user":null,"method":"GET","path":"/","code":403,"size":3839,"referer":null,"agent":"Mozilla/5.0 (Windows NT 6.3; WOW64; rv:30.0) Gecko/20100101 Firefox/30.0"} 20140724T074147+0000 apache.access {"host":"219.111.8.217","user":null,"method":"GET","path":"/","code":403,"size":3839,"referer":null,"agent":"Mozilla/5.0 (Windows NT 6.3; WOW64; rv:30.0) Gecko/20100101 Firefox/30.0"} 20140724T074148+0000 apache.access {"host":"219.111.8.217","user":null,"method":"GET","path":"/","code":403,"size":3839,"referer":null,"agent":"Mozilla/5.0 (Windows NT 6.3; WOW64; rv:30.0) Gecko/20100101 Firefox/30.0"} 20140724T074148+0000 apache.access {"host":"219.111.8.217","user":null,"method":"GET","path":"/","code":403,"size":3839,"referer":null,"agent":"Mozilla/5.0 (Windows NT 6.3; WOW64; rv:30.0) Gecko/20100101 Firefox/30.0"} 20140724T074148+0000 apache.access {"host":"219.111.8.217","user":null,"method":"GET","path":"/","code":403,"size":3839,"referer":null,"agent":"Mozilla/5.0 (Windows NT 6.3; WOW64; rv:30.0) Gecko/20100101 Firefox/30.0"} 20140724T074148+0000 apache.access {"host":"219.111.8.217","user":null,"method":"GET","path":"/icons/apache_pb2.gif","code":304,"size":null,"referer":"http://54.209.247.245/","agent":"Mozilla/5.0 (Windows NT 6.3; WOW64; rv:30.0) Gecko/20100101 Firefox/30.0"} |
いかがでしたでしょうか？
次回は『OSS編～FluentdでForwardのStandbyを試してみる～』と題して、FluentdでフォワードのStandbyを試してみたいと思います。
お楽しみに！！！
