こんにちは！ JQです。
前回は『 DynamoDB編～Localを試してみる②～ 』と題して、DynamoDB LocalをBotoで試してみました。
今回は『OSS編～FluentdでForwardを試してみる～』と題して、Fluentdでフォワードを試してみたいと思います。
フォワード設定
1.Fluentdのインストール
今回はフォワード元EC2から別のフォワード先EC2に対してフォワードしてみたいと思います。
先ずはFluentdのインストールをします。
インストールはこちらの『 Fluentd編～ログ収集ツール～ 』という記事をご参照ください。
2.フォワード先EC2のFluentd設定
フォワード先のFluentd設定を行います。
※分かりやすいようにtimesliceformatを短くしています。
1<source>2 type forward3 port 242244 bind 0.0.0.05</source>67<match apache.**>8 type file9 path /var/log/td-agent/forward10 time_slice_format %Y%m%d%H%M11 time_slice_wait 5m12 time_format %Y%m%dT%H%M%S%z13 compress gzip14 utc15</match>再起動して以下のログが出ていれば成功です。
12014-07-24 16:27:00 +0900 [info]: listening fluent socket on 0.0.0.0:242243.フォワード元EC2の設定
続いてフォワード元EC2のFluentd設定を行います。
今回はApacheのログを送付してみます。
※td-agentがアクセスログにアクセス出来るようにしておきます。
1<source>2 type tail3 path /var/log/httpd/access_log4 format apache25 pos_file /var/log/td-agent/apache.pos6 tag apache.access7</source>89<match apache.**>10 type forward1112 <server>13 host 172.16.0.24614 port 2422415 </server>1617 flush_interval 60s18</match>再起動して以下のようなログが出力されていればフォワードが設定されています。
12014-07-24 16:28:10 +0900 [info]: adding forwarding server '172.16.0.246:24224' host="172.16.0.246" port=24224 weight=60確認
4.確認
それでは実際にフォワード元にHTTPでアクセスしてログを出力して確認してみます。
少し待ってフォワード先のpathで指定した場所を確認してみます。
1$ ls -l /var/log/td-agent/2total 203drwxrwxrwx 2 td-agent td-agent 4096 Jul 24 16:13 buffer4-rw-r--r-- 1 td-agent td-agent 333 Jul 24 16:47 forward.201407240741_0.log.gz5-rw-r--r-- 1 td-agent td-agent 8752 Jul 24 16:27 td-agent.loggzipで出力されています。
中を確認してみます。
1$ gunzip forward.201407240741_0.log.gz2$ tail forward.201407240741_0.log3420140724T074146+0000 apache.access {"host":"219.111.8.217","user":null,"method":"GET","path":"/favicon.ico","code":404,"size":289,"referer":null,"agent":"Mozilla/5.0 (Windows NT 6.3; WOW64; rv:30.0) Gecko/20100101 Firefox/30.0"}520140724T074147+0000 apache.access {"host":"219.111.8.217","user":null,"method":"GET","path":"/icons/apache_pb2.gif","code":304,"size":null,"referer":"http://54.209.247.245/","agent":"Mozilla/5.0 (Windows NT 6.3; WOW64; rv:30.0) Gecko/20100101 Firefox/30.0"}620140724T074147+0000 apache.access {"host":"219.111.8.217","user":null,"method":"GET","path":"/","code":403,"size":3839,"referer":null,"agent":"Mozilla/5.0 (Windows NT 6.3; WOW64; rv:30.0) Gecko/20100101 Firefox/30.0"}720140724T074147+0000 apache.access {"host":"219.111.8.217","user":null,"method":"GET","path":"/","code":403,"size":3839,"referer":null,"agent":"Mozilla/5.0 (Windows NT 6.3; WOW64; rv:30.0) Gecko/20100101 Firefox/30.0"}820140724T074147+0000 apache.access {"host":"219.111.8.217","user":null,"method":"GET","path":"/","code":403,"size":3839,"referer":null,"agent":"Mozilla/5.0 (Windows NT 6.3; WOW64; rv:30.0) Gecko/20100101 Firefox/30.0"}920140724T074147+0000 apache.access {"host":"219.111.8.217","user":null,"method":"GET","path":"/","code":403,"size":3839,"referer":null,"agent":"Mozilla/5.0 (Windows NT 6.3; WOW64; rv:30.0) Gecko/20100101 Firefox/30.0"}1020140724T074148+0000 apache.access {"host":"219.111.8.217","user":null,"method":"GET","path":"/","code":403,"size":3839,"referer":null,"agent":"Mozilla/5.0 (Windows NT 6.3; WOW64; rv:30.0) Gecko/20100101 Firefox/30.0"}1120140724T074148+0000 apache.access {"host":"219.111.8.217","user":null,"method":"GET","path":"/","code":403,"size":3839,"referer":null,"agent":"Mozilla/5.0 (Windows NT 6.3; WOW64; rv:30.0) Gecko/20100101 Firefox/30.0"}1220140724T074148+0000 apache.access {"host":"219.111.8.217","user":null,"method":"GET","path":"/","code":403,"size":3839,"referer":null,"agent":"Mozilla/5.0 (Windows NT 6.3; WOW64; rv:30.0) Gecko/20100101 Firefox/30.0"}1320140724T074148+0000 apache.access {"host":"219.111.8.217","user":null,"method":"GET","path":"/icons/apache_pb2.gif","code":304,"size":null,"referer":"http://54.209.247.245/","agent":"Mozilla/5.0 (Windows NT 6.3; WOW64; rv:30.0) Gecko/20100101 Firefox/30.0"}いかがでしたでしょうか？
次回は『OSS編～FluentdでForwardのStandbyを試してみる～』と題して、FluentdでフォワードのStandbyを試してみたいと思います。
お楽しみに！！！
