こんにちは！ JQです。
前回は『 OSS編～Fluentdでrewrite_tag_filterを試してみる～ 』と題して、Fluentdでrewritetagfilterを試してみました。
今回は『OSS編～Fluentdで負荷分散を試してみる～』と題して、Fluentdで負荷分散を試してみたいと思います。
負荷分散
1. フォワード先のFluetnd設定
先ずはフォワード先の設定を行います。
フォワードを受け付けてローカルにファイルを出力する設定になります。
1$ sudo vim /etc/td-agent/td-agent.conf2<source>3 type forward4 port 242245 bind 0.0.0.06</source>78<match apache.**>9 type file10 path /var/log/td-agent/forward11 time_slice_format %Y%m%d%H%M12 time_slice_wait 1m13 time_format %Y%m%dT%H%M%S%z14 compress gzip15 utc16</match>設定を反映させます。
1$ sudo /etc/rc.d/init.d/td-agent restart2Shutting down td-agent: [ OK ]3Starting td-agent: [ OK ]今回は負荷分散させる為、フォワード先のサーバをもう一台同じ設定で準備しておきます。
2.フォワード元のFluentd設定
続いてフォワード元の設定を行います。
1$ sudo vim /etc/td-agent/td-agent.conf2<source>3 type tail4 path /var/log/httpd/access_log5 format apache26 pos_file /var/log/td-agent/apache.pos7 tag apache.access8</source>910<match apache.**>11 type forward1213 <server>14 host 172.16.0.xxx15 port 2422416 weight 6017 </server>18 <server>19 host 172.16.0.xxx20 port 2422421 weight 6022 </server>2324 <secondary>25 type file26 path /var/log/td-agent/fail27 </secondary>2829 flush_interval 60s30</match>設定を反映させます。
1$ sudo /etc/rc.d/init.d/td-agent restart2Shutting down td-agent: [ OK ]3Starting td-agent: [ OK ]ログに下記のように出力されれば成功しています。
12014-08-05 17:14:24 +0900 [info]: adding forwarding server '172.16.0.xxx:24224' host="172.16.0.246" port=24224 weight=6022014-08-05 17:14:24 +0900 [info]: adding forwarding server '172.16.0.xxx:24224' host="172.16.0.114" port=24224 weight=603.確認
それでは確認してみましょう。
フォワード元のWEBにアクセスしてログを出力します。
それぞれのフォワード先に以下のようにファイルが生成されていれば成功です。
1forward.201408050819_0.log.gz2320140805T081900+0000 apache.access {"host":"xxx.xxx.xxx.xxx","user":null,"method":"GET","path":"/","code":403,"size":3839,"referer":null,"agent":"Mozilla/5.0 (Windows NT 6.3; WOW64; rv:31.0) Gecko/20100101 Firefox/31.0"}いかがでしたでしょうか？
次回は『OSS編～Fluentdでoutmongoプラグインを試してみる～』と題して、Fluentdでoutmongoプラグインを試してみたいと思います。
お楽しみに！！！
