AWS Lambda編～Kinesisと連携してみる～

前回は『AWS Lambda編～DynamoDBと連携してみる～』と題して、AWS LambdaでDynamoDBとの連携を試してみました。 今回は『AWS Lambda編～Kinesisと連携してみる～』と題して、AWS LambdaでKinesisとの連携を試してみたいと思います。 Kinesisとの連携 AWS LambdaではEvent SourceとしてKinesisを利用... 続きを読む

Amazon Kinesis データ取得速度の改善（Reduced Propagation Delay）について

こんにちは！HALです。 先日AWSブログで以下の新機能のリリースがありました。 Amazon Kinesis データ取得速度の改善（Reduced Propagation Delay） 概要としては、今まではKinesisがデータを受け取ってから取り出すことができるまで通常2秒から4秒の遅延が発生する仕様となっておりましたが、この部分が改善されて、受け取ったあとすぐにデータの取... 続きを読む

Kinesisをもっと知りたい！～kinesisがもたらすこと⑤～

こんにちは！HEROです。 前回までで、kinesis詳細編ということでログ管理や、コンバージョン解析基盤としてユースケースをご紹介しましたがいかがでしょうか。 今回はposデータの活用について調べてみました。 ▼これまでの記事はこちらをご参照下さい Kinesisをもっと知りたい！～kinesisがもたらすこと～ Kinesisをもっと知りたい！～kinesisがもたらすこと②... 続きを読む

Kinesisをもっと知りたい！～kinesisがもたらすこと④～

こんにちは！HEROです。 さてKinesisをもっと知りたい！ということでご紹介してきましたが今回で4回目になりました。 今回も前回に引き続き、具体的なユースケースについて見て行きましょう。 ▼これまでの記事はこちらをご参照下さい Kinesisをもっと知りたい！～kinesisがもたらすこと～ Kinesisをもっと知りたい！～kinesisがもたらすこと②～ Kinesi... 続きを読む

Kinesisをもっと知りたい！～kinesisがもたらすこと③～

こんにちは！HEROです。 前回まででkinesisの機能や出来ることについてご紹介させていただきました。 今回からはもう少し具体的なユースケースを交えてご紹介致します。 ▼前回までの記事はこちらをご参照下さい。 Kinesisをもっと知りたい！～kinesisがもたらすこと～ Kinesisをもっと知りたい！～kinesisがもたらすこと②～ ◯ログ収集＆解析基盤としての... 続きを読む

Kinesisをもっと知りたい！～kinesisがもたらすこと②～

こんにちは！HEROです。 Kinesisをもっと知りたい！ということで前回の記事で、Kinesisがどんなサービスか、イメージや立ち位置かご紹介しましたがいかがでしたでしょうか。 今回は、Kinesisの一般的な構成や出来ることについてご紹介します。 ◯構成図 Kinesisを使った一般的な構成をご紹介します。 例えばリアルタイムにログを収集して環境を構築するとしましょう。 ... 続きを読む

リアルタイム分析を実現する強力なツールシリーズ～Spark～その2

こんにちは！HALです。 以前、『リアルタイム分析を実現する強力なツールシリーズ～Spark～』という記事をご紹介いたしましたが、今回はその続編となります。 ■Sparkとは ビッグデータ関連のOSS(オープンソースソフトウェア)で、Hadoopに比べ、インメモリー処理を主体とするため、より高速な処理ができるものになっています。 ■Sparkのメリット Hadoopの標準... 続きを読む

Kinesisをもっと知りたい！～kinesisがもたらすこと～

こんにちは！HEROです。 以前AWSのDB紹介番外編『AWSデータベース紹介番外編～AWSのDBサービスと連携する強力なサービス編～』として簡単な概要をご紹介しました。 Kinesisは、昨日開催されたAWS Summitで東京リージョンでのサービスがリリースされたばかりの今最もアツイサービスです！ フルマネージド型で、リアルタイムにデータを取得し、処理を行うことができる近未来的な... 続きを読む

Amazon Kinesis編～PythonのThreadを使ったパフォーマンス検証～

こんにちは、中の人です。 前回の記事『Amazon Kinesis編～PythonのThreadを使ったパフォーマンス検証～』では、t2.microインスタンスをWebサーバからKinesisに対してログをPutする時に、Pythonのthreadingを使うことでどれくらい速度が早くなるかを試してみました。 さて、今回はインスタンスサイズを変えるとどうなるか見てみましょう。 [環境... 続きを読む

Amazon Kinesis編～Pythonを使ったパフォーマンス検証～

こんにちは、中の人です。 今回は、WebサーバからKinesisに対してログをPutする時に、Pythonのthreadingを使うことでどの程度速度が早くなるかを試してみます。 環境：　t2.micro Amazon Linux プログラム：WhileでKinesisにPutしている部分に以下を追加しております。 ※ プログラムの最初には start = time.time()... 続きを読む
1 / 3123