Amazon KinesisからデータGet方法まとめ

こんにちは、中の人です。 前回の『Amazon KinesisからデータPut方法まとめ』でご紹介させていただいたように、KinesisにデータをPutする時にはthread処理などを追加してパフォーマンスを上げる必要があります。 今回はGetについての注意点を紹介させていただきます。 Kinesisは、Putが1000req/secに対してGetは5req/secとなっておりま... 続きを読む

Amazon KinesisからデータPut方法まとめ

こんにちは、中の人です。 今回はKinesisにデータをPutする時の注意点をまとめてみました。 Kinesisは、シャードという単位で帯域を変えることが出来、1シャードで1000req/secもデータをPutする事が出来ます。 ずーっと1000req/sec使い続けた場合、約2億6千万リクエストにもなりますが料金はなんと$100にも満たない程度というコストパフォーマンスにも優れたサ... 続きを読む

AWSデータベース紹介番外編~AWSのDBサービスと連携する強力なサービス編~

こんにちは! HEROです。 前回の『AWSデータベース紹介編~AWSの様々なDBサービス編⑥~』では、番外編としてEMRをご紹介しましたがいかがでしたでしょうか。 今回は最新サービス、Kinesisの特徴についてご紹介します。 ・Amazon Kinesis Kinesisは昨日開催されたAWS Summitで東京リージョンがリリースされたばかりの今最もアツイサービスです! ... 続きを読む

KinesisとRedshiftで実現するストック型とリアルタイム型処理

こんにちは!HALです。 以前『Kinesisで実現するIoT』という記事で「ラムダ・アーキテクチャー」と呼ばれる解析手法が主流となっていると書かせていただきました。 ※「ラムダ・アーキテクチャー」とは、リアルタイム処理とバッチ処理を並列して行う解析手法だそうです。 この「ラムダ・アーキテクチャー」に対して、AWSの「Amazon Kinesis」と「Amazon Redshift」... 続きを読む

リアルタイム分析を実現する強力なツールシリーズ~Spark~

こんにちは!HALです。 今回は、リアルタイム分析を実現する強力なツールシリーズとして、前回紹介した「Storm」に加え、Hadoopよりも強力に高速に解析処理が実現可能な「Spark」というSWをご紹介したいと思います。 ▼前回の記事はこちら リアルタイム分析を実現する強力なツールシリーズ~storm~ ■Sparkとは? ビッグデータを分散処理で高速に処理が可能な[Had... 続きを読む

リアルタイム分析を実現する強力なツールシリーズ~Storm~

こんにちは!HALです。 今回は、リアルタイム分析を実現する強力なツールシリーズとして、前回紹介した「Jubatus」に加え、強力にリアルタイムの解析が実現可能な「Storm」というSWをご紹介したいと思います。 ▼前回の記事はこちら リアルタイム分析を実現する強力なツールシリーズ~Jubatus~ ■Stormとは? ・Twitterのエンジニアが開発したHadoopのよう... 続きを読む

リアルタイム分析を実現する強力なツールシリーズ~Jubatus~

こんにちは!HALです。 今回は、前回の『Kinesisで実現するlot』でご案内したリアルタイムにデータを処理する技術のCEPを実現するためのツールをご紹介したいと思います。 CEPにおいて、一般的に言われている課題点として、「複数の分析を行う場合に処理が複雑になりメンテナンスに負荷がかかる」といわれておりました。 そうした課題を解決できるのが、データに潜むパターンや規則性など... 続きを読む

Kinesisで実現するIoT

こんにちは!HALです。 最近よく聞くInternet of Things(IoT)。 物のインターネットといわれ、その一例として、車やスマホや電子機器等のセンサーデータの収集をして、解析して、データの傾向を導き出したり、特定の条件に合うパターンを自動検出して、センサーを設置した機器の故障を事前に予測したり様々なシーンで活用されてきています。 今回はIoTを実現する上でKinesis... 続きを読む

「AWSで豊かな暮らしを ~スマートハウス~」

こんにちは。ジェーカーズです。 最近3.11や石油ショックなどにより、省エネ・エコがうたわれるようになり、「スマートハウス」が普及するようになってきました。 そこで今回は、AWSでビッグデータの処理を行い、スマートハウスに還元するようなものを提案してみたいと思います。 ○スマートハウスとは? ”スマートハウス”について説明したいと思います。 スマートハウスとはその名のとおり「賢い... 続きを読む

リアルタイム分析のメリット

こんにちは!HALです。 先日のAWS Summit Tokyo 2014で、ついにAmazonKinesisが東京リージョンで利用できるようになりましたね! 今回は改めてAmazonKinesisで実現できる、リアルタイムストリーム処理、リアルタイム処理について、何がうれしいかということを書きたいと思います。 ■ストック型データ処理とストリーム型データ処理 リアルタイムの比較とし... 続きを読む
2 / 3123