Amazon Kinesis/Redshift編~アクセスログをkinesisで加工してTableauで表示してみよう① [全4回]~

Pocket

こんにちは、中の人です。

Tableauは非常に強力なBIツールでエリア情報を地図にマッピングしてくれる機能などもあります。
IPアドレスのままではTableauに表示することが出来ないので、Amazon KinesisでIPアドレスを緯度経度に変換して、Redshiftに取り込んでTableauで表示させます。

全体構成

まず、Kinesisのセットアップですが以下を参考にStreamを立ち上げます。
Kinesis編~Kinesisを試してみる①~ https://recipe.kc-cloud.jp/archives/5629

セットアップが完了したら、アクセスログをKinesisにPutするスクリプトを作成します。
putrecords.pyというスクリプトをpythonで作成します。botoが必要となりますので、未インストールの場合は以下のいずれかの方法でインストールして下さい。

putrecords.pyの作成

では、早速アクセスログをkinesisにputしてみましょう

上記のようなログが出れば確認完了です。
プログラムのprint部分を変更することで、表示を止めることも可能です。

でバックグラウンド実行させます。

次回はKinesisにputしたデータをgetして、IPアドレスを緯度経度情報に変換します。
お楽しみに!!