Kinesisをもっと知りたい!~kinesisがもたらすこと③~

こんにちは!HEROです。

前回まででkinesisの機能や出来ることについてご紹介させていただきました。
今回からはもう少し具体的なユースケースを交えてご紹介致します。

▼前回までの記事はこちらをご参照下さい。
Kinesisをもっと知りたい!~kinesisがもたらすこと~
Kinesisをもっと知りたい!~kinesisがもたらすこと②~

◯ログ収集&解析基盤としての活用

たとえばログ収集基盤としてAWSを利用し、kinesisを活用するとしましょう。
ログ収集というと内部統制やコンプライアンスとしての対応や、システム運用、情報漏えい対策、webサイトのアクセス解析などログと言っても、実に様々なログがあるわけです。

◯ログ収集環境における課題

では実際にどんな問題点が考えられるでしょうか?
たとえばこういったログは様々な分類にわけられると思います。

大分類 中分類 ログの種類
個人デバイス
(PC、携帯電話、スマートフォン)
OS 操作記録、設定変更記録、認証ログ
アプリケーション 操作記録、通話・通信記録、チェック記録
サーバ OS 認証ログ、操作記録、SYSLOG、エラーログ
ミドルウェア 認証ログ、操作記録、アクセスログ、エラーログ
アプリケーション 認証ログ、操作記録、アクセスログ、エラーログ
ネットワークデバイス 操作記録、通信記録、アクセスログ
物理
(監視カメラ、入退室、キャビネ閉開、キーBOX、プリンター、RFID 関連)
カメラ映像、入退室記録、印刷ログ、ドア閉開記録他

このようにログは点在している状態です。
このままでは、下記のような問題が発生してしまいます。

・各サーバや機器によってログの保存期間が異なり統一されていない。
・ログの痕跡を残さないように改ざん、削除等に対して無防備になってしまう。
・ログのフォーマットがバラバラで管理が煩雑化

【参考URL】
http://www.logkatsu.com/report/feature_02.html

◯kinesisの活用

ではkinesisを導入することでどのように活用できるでしょうか。

構成図

今までだと1台1台のサーバでログの管理を行い、各サーバのログの管理が煩雑になってしましいました。
これにより、ログを利用した傾向分析などを行うのが難しいだけでなく、障害時の解析やユーザーからの問い合わせに対してエンジニアが1台1台のサーバにログインしてログを検索する必要がありました。
しかし、kinesis活用することで、上記であげた課題に対して、

・各サーバや機器によってログの保存期間が異なり統一されていない。
→kinesisで取得したログはS3に保存可能なので半永久的に残すことができます。
また長期保存に適したGlacierというアーカイブサービスもございます。

・ログの痕跡を残さないように改ざん、削除等に対して無防備になってしまう。
→リアルタイムにログを取得できるので改ざん前や削除前のログを取得できます。

・ログのフォーマットがバラバラで管理が煩雑化
→ログのフォーマットの統一など統合的に管理して、ユーザー部門からログの検索機能等による運用負荷軽減だけでなく、ログ解析による傾向分析などを行うこともできます

いかがでしたでしょうか?
次回もお楽しみに!!