aws-recipe-user こんにちは！ JQです。
前回は『OSS編～Fluentdでrewrite_tag_filterを試してみる～』と題して、Fluentdでrewrite_tag_filterを試してみました。
今回は『OSS編～Fluentdで負荷分散を試してみる～』と題して、Fluentdで負荷分散を試してみたいと思います。
負荷分散
1. フォワード先のFluetnd設定
先ずはフォワード先の設定を行います。
フォワードを受け付けてローカルにファイルを出力する設定になります。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 |
$ sudo vim /etc/td-agent/td-agent.conf <source> type forward port 24224 bind 0.0.0.0 </source> <match apache.**> type file path /var/log/td-agent/forward time_slice_format %Y%m%d%H%M time_slice_wait 1m time_format %Y%m%dT%H%M%S%z compress gzip utc </match> |
設定を反映させます。
|
1 2 3 |
$ sudo /etc/rc.d/init.d/td-agent restart Shutting down td-agent: [ OK ] Starting td-agent: [ OK ] |
今回は負荷分散させる為、フォワード先のサーバをもう一台同じ設定で準備しておきます。
2.フォワード元のFluentd設定
続いてフォワード元の設定を行います。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 |
$ sudo vim /etc/td-agent/td-agent.conf <source> type tail path /var/log/httpd/access_log format apache2 pos_file /var/log/td-agent/apache.pos tag apache.access </source> <match apache.**> type forward <server> host 172.16.0.xxx port 24224 weight 60 </server> <server> host 172.16.0.xxx port 24224 weight 60 </server> <secondary> type file path /var/log/td-agent/fail </secondary> flush_interval 60s </match> |
設定を反映させます。
|
1 2 3 |
$ sudo /etc/rc.d/init.d/td-agent restart Shutting down td-agent: [ OK ] Starting td-agent: [ OK ] |
ログに下記のように出力されれば成功しています。
|
1 2 |
2014-08-05 17:14:24 +0900 [info]: adding forwarding server '172.16.0.xxx:24224' host="172.16.0.246" port=24224 weight=60 2014-08-05 17:14:24 +0900 [info]: adding forwarding server '172.16.0.xxx:24224' host="172.16.0.114" port=24224 weight=60 |
3.確認
それでは確認してみましょう。
フォワード元のWEBにアクセスしてログを出力します。
それぞれのフォワード先に以下のようにファイルが生成されていれば成功です。
|
1 2 |
forward.201408050819_0.log.gz 20140805T081900+0000 apache.access {"host":"xxx.xxx.xxx.xxx","user":null,"method":"GET","path":"/","code":403,"size":3839,"referer":null,"agent":"Mozilla/5.0 (Windows NT 6.3; WOW64; rv:31.0) Gecko/20100101 Firefox/31.0"} |
いかがでしたでしょうか？
次回は『OSS編～Fluentdでout_mongoプラグインを試してみる～』と題して、Fluentdでout_mongoプラグインを試してみたいと思います。
お楽しみに！！！
