DynamoDBに保存したデータをNode.jsで取得して表示してみた～DynamoDBへの接続編～

こんにちは、中の人です。 DynamoDBで取得したデータをNode.jsで取得して表示する準備として以下を紹介しておりました。 第1回　Node.jsインストール編 第2回　Nginxで80番ポートに変更編 今回はNode.jsに対してaws-sdkを追加して、DynamoDBからデータを取得してみます。 1. DynamoDB上にテーブルの作成します。 初めての方は... 続きを読む

リアルタイム分析を実現する強力なツールシリーズ～Spark～その2

こんにちは！HALです。 以前、『リアルタイム分析を実現する強力なツールシリーズ～Spark～』という記事をご紹介いたしましたが、今回はその続編となります。 ■Sparkとは ビッグデータ関連のOSS(オープンソースソフトウェア)で、Hadoopに比べ、インメモリー処理を主体とするため、より高速な処理ができるものになっています。 ■Sparkのメリット Hadoopの標準... 続きを読む

DynamoDBに保存したデータをNode.jsで取得して表示してみた～Nginxで80番ポートに変更編～

こんにちは、中の人です。 前回は、『DynamoDBに保存したデータをNode.jsで取得して表示してみた～Node.jsインストール編～』でNode.js + Expressのインストールを行いました。 今回は、Node.jsデフォルトの3000番ポートで配信するのもアレなのでNginxをリバースプロキシとして立てて80番で配信するようにします。 EC2にNginxをインストールし... 続きを読む

DynamoDBに保存したデータをNode.jsで取得して表示してみた～Node.jsインストール編～

こんにちは、中の人です。 Kinesisで取得したデータをダッシュボードとして画面上に表示させる場合にデータ格納先としてRDSを利用する方法もありますが、DynamoDBを利用することで規模が大きくなった時にもパフォーマンスの劣化を防ぐことが可能です。 今回は実際に、DynamoDBに保存したデータをNode.js + Expressから参照して表示する方法を紹介します。 まずは... 続きを読む

Amazon Kinesis編～PythonのThreadを使ったパフォーマンス検証～

こんにちは、中の人です。 前回の記事『Amazon Kinesis編～PythonのThreadを使ったパフォーマンス検証～』では、t2.microインスタンスをWebサーバからKinesisに対してログをPutする時に、Pythonのthreadingを使うことでどれくらい速度が早くなるかを試してみました。 さて、今回はインスタンスサイズを変えるとどうなるか見てみましょう。 [環境... 続きを読む

Amazon Kinesis編～Pythonを使ったパフォーマンス検証～

こんにちは、中の人です。 今回は、WebサーバからKinesisに対してログをPutする時に、Pythonのthreadingを使うことでどの程度速度が早くなるかを試してみます。 環境：　t2.micro Amazon Linux プログラム：WhileでKinesisにPutしている部分に以下を追加しております。 ※ プログラムの最初には start = time.time()... 続きを読む

Amazon Zocalo編～デスクトップ同期アプリケーション②～

こんにちは！Narimasaです！ 前回は「Amazon Zocalo編～デスクトップ同期アプリケーション①～」と題して、PC上のフォルダをAmazon Zocaloに同期させる方法について紹介しました。 今回は「Amazon Zocalo編～デスクトップ同期アプリケーション②～」と題して、WorkSpacesとZocaloの連携や、同期アプリケーションの詳細について紹介します。 ▼... 続きを読む

KinesisとRedshiftで実現するストック型とリアルタイム型処理

こんにちは！HALです。 以前『Kinesisで実現するIoT』という記事で「ラムダ・アーキテクチャー」と呼ばれる解析手法が主流となっていると書かせていただきました。 ※「ラムダ・アーキテクチャー」とは、リアルタイム処理とバッチ処理を並列して行う解析手法だそうです。 この「ラムダ・アーキテクチャー」に対して、AWSの「Amazon Kinesis」と「Amazon Redshift」... 続きを読む

Amazon Zocalo編～デスクトップ同期アプリケーション①～

こんにちは！Narimasaです！ 前回は「Trusted Advisor編～コンソールアップデート～」と題して、新しくなったTrusted Advisorについて紹介しました。 今回は「Amazon Zocalo編～デスクトップ同期アプリケーション～」と題して、PC上のフォルダをAmazon Zocaloに同期させる方法を紹介します。 ▼Amazon Zocaloに関する過去の記事... 続きを読む

リアルタイム分析を実現する強力なツールシリーズ～Spark～

こんにちは！HALです。 今回は、リアルタイム分析を実現する強力なツールシリーズとして、前回紹介した「Storm」に加え、Hadoopよりも強力に高速に解析処理が実現可能な「Spark」というSWをご紹介したいと思います。 ▼前回の記事はこちら リアルタイム分析を実現する強力なツールシリーズ～storm～ ■Sparkとは？ ビッグデータを分散処理で高速に処理が可能な[Had... 続きを読む
2 / 812345...最後 »