Amazon Kinesis Firehose編~データ変換を試してみる~

Pocket

前回は『Amazon Athena編~QuickSightからの接続を試してみる~』と題して、Amazon AthenaにQuickSightからの接続を試してみました。

今回は『Amazon Kinesis Firehose編~データ変換を試してみる~』と題して、Amazon Kinesis Firehoseにデータ変換を試してみたいと思います。

Amazon Kinesis Firehose Data Transformation

Amazon Kinesis Firehose ではData TransformationとしてLambdaとの連携によるデータ変換機能を利用することが出来るようになりました。
こちらを利用する事でApache logをCSV形式やJSON形式に変換するなどが簡単に出来るようになります。

Blueprintとして以下が既に用意されております。
今回はApache logをCSVにするBlueprintを試してみたいと思います。

・General Firehose Processing — 必要な処理が記述してあるサンプル
・Apache Log to JSON — Apache log を JSON 形式に変換
・Apache Log to CSV — Apache log を CSV 形式に変換
・Syslog to JSON — Syslog を JSON 形式に変換
・Syslog to CSV — Syslog を CSV 形式に変換

1.Kinesis Firehose の準備
最初にKinesis Firehose を設定していきます。
東京にはまだ来てないのでVirginiaで進めていきます。

2.Data transformation の設定
次の設定画面でData transformationの設定を進めていきます。
「Enable」を選択して「Create a new Lambda function」をクリックします。

表示されたBlueprintからApache Log to CSVを選択します。

コードが登録された状態でLambda作成画面に進みます。

LambdaにKinesis Firehoseへの必要権限を付与して作成します。


Kinesis Firehoseの設定画面で先程作成したLambdaを選択します。


また、Kiensis Firehose側でもLambdaを呼ぶなどの必要権限を付与して作成します。


3.確認してみる
それでは実際に確認してみます。
次のコマンドでKinesis FirehoseにApache Logをテスト送信します。

しばらく待つと処理された結果がS3に溜まります。

中身はCSVに変換されてますね!

いかがでしたでしょうか?
次回もお楽しみに!!!

Amazon Web Serviceの構築・保守でお困りの方はこちら