Amazon Kinesis/Redshift編~アクセスログをkinesisで加工してTableauで表示してみよう① [全4回]~

こんにちは、中の人です。 Tableauは非常に強力なBIツールでエリア情報を地図にマッピングしてくれる機能などもあります。 IPアドレスのままではTableauに表示することが出来ないので、Amazon KinesisでIPアドレスを緯度経度に変換して、Redshiftに取り込んでTableauで表示させます。 まず、Kinesisのセットアップですが以下を参考にStrea... 続きを読む

【動画】Amazon ElastiCache編~ElastiCacheにEC2から接続してみよう!

こんにちは!beardです! この記事ではElastiCacheのノードにEC2から接続する方法をご紹介します。ElastiCacheのエンジンとしてmemcachedの使用をしておりますので、接続はTelnetで行います。Amazon LinuxのEC2にtelnetをインストールするところから説明します。 ElastiCacheのキャッシュクラスタの作成については Amazon El... 続きを読む

【動画】Amazon ElastiCache編~ElastiCacheを使ってみよう!~

こんにちは!beardです! この記事ではAmazon ElastiCacheの基本的な立ち上げ方を紹介します。ElastiCacheは「memcached」と「redis」プロトコルに対応したインメモリキャッシュシステムを簡単に用意することができるサービスです。 今回はこのElasticacheのキャッシュクラスタを起動する方法をご紹介します。 動画の内容 1. マネジメント... 続きを読む

RDS編~PostgreSQL~

こんにちは!Narimasaです! 今回はRDSでPostgreSQLを立ち上げてみます。 RDSの起動 1. Security Groupの作成 まずはDB Security Groupを作成します。 RDSのコンソール画面からは開けないのでVPCのコンソール画面から「Security Groups」を開きます。 項目を任意に入力し、作成します。 作成したS... 続きを読む

Amazon RDS編~大きなデータのインポート(MySQL server has gone awayが発生した時)編~

こんにちは!中の人です。 今回は『Amazon RDS編~大きなデータのインポート(MySQL server has gone awayが発生した時)編~』と題して、RDS(MySQL)に対して大きなテーブルをインポート(リストア)する時に発生する ”MySQL server has gone away” というエラーに対する対処方法を紹介します。 『Amazon RDS~MySQL ... 続きを読む

Amazon RDS~MySQL オンプレ⇒AWS移行編~

こんにちは!中の人です。 先日AWSの新機能として『【AWS発表】 オンプレミスのMySQLデータをAmazon RDSへ移行する(その逆も) 』が発表されました。 この機能により、オンプレミス⇔AWS間でリプリケーションが出来るようになり、オンプレミス⇔AWS間のMySQLの移行が容易となりました。 実際にこの機能を使ってオンプレミス環境からRDSに対してMySQLのデータベースを... 続きを読む

Amazon Redshift編~パフォーマンスチューニング まとめ編~

こんにちは!中の人です。 前回の『Amazon Redshift編~パフォーマンスチューニング sortkey編~』『Amazon Redshift編~パフォーマンスチューニング distkey編~』『Amazon Redshift編~パフォーマンスチューニング 圧縮編~』のレシピでは、Redshiftのパフォーマンスチューニングとしてsortkey/distkey/圧縮の設定方法と、設定による... 続きを読む

Amazon RDS編~リードレプリカへの書き込み~

こんにちは!コータです。 本日はRDSのリードレプリカへの書き込み方法をご紹介します! 通常、リードレプリカは読み出しのクエリのみをサポートするように設計されています。しかし、アクセスクエリの特定のタイプを高速化するために、リードレプリカにインデックスを追加するなどの更新が必要になるときもあります。 そのようなときのために、RDSではリードレプリカへの書き込みもサポートしています。 ... 続きを読む

Amazon Redshift編~パフォーマンスチューニング 圧縮編~

こんにちは!中の人です。 前回の『Amazon Redshift編~パフォーマンスチューニング sortkey編~』『Amazon Redshift編~パフォーマンスチューニング distkey編~』のレシピでは、Redshiftのパフォーマンスチューニングとしてsortkey/distkeyの設定方法と、設定によるパフォーマンスの違いを紹介しました。 今回は『Amazon Redsh... 続きを読む

Amazon Redshift編~パフォーマンスチューニング distkey編~

こんにちは!中の人です。 前回の『Amazon Redshift編~パフォーマンスチューニング sortkey編~』では、Redshiftのパフォーマンスチューニングとしてsortkeyの設定方法と、設定によるパフォーマンスの違いを紹介しました。 今回は『Amazon Redshift編~パフォーマンスチューニング distkey編~』と題して、Redshiftに対してdistribu... 続きを読む