Amazon Kinesis/Redshift編~アクセスログをkinesisで加工してTableauで表示してみよう② [全4回]~

Pocket

こんにちは、中の人です。

Tableauは非常に強力なBIツールでエリア情報を地図にマッピングしてくれる機能などもあります。
IPアドレスのままではTableauに表示することが出来ないので、Amazon KinesisでIPアドレスを緯度経度に変換して、Redshiftに取り込んでTableauで表示させます。

全体構成

前回の『Amazon Kinesis/Redshift編~アクセスログをkinesisで加工してTableauで表示してみよう~』に引き続き、今回は第2回としてKinesis Streamにputしたアクセスログを、Kinesis AppでgetしIPアドレスを緯度経度に変換してS3に保存します。

IPアドレスから緯度経度への変換を行うAPIは複数ありますが、検証した中では1番レスポンスが良かった以下を使用しております。
http://ip-json.rhcloud.com/

getrecordsToGEO.pyの作成

※できるだけコメントで解説しています。

では、早速アクセスログをkinesisにgetしてみましょう

上記のようなログが出れば確認完了です。
プログラムのprint部分を変更することで、表示を止めることも可能です。

でバックグラウンド実行させます。

次回はS3に保存したデータを1分おきにRedshiftにimportします。
お楽しみに!!