How to Choose Your First AI Project 和訳してみた

今回は2019年2月6日に Harvard Business Review に掲載されていた記事を、簡単にまとめてみました。元記事の執筆者は、Coursera の Machine Learning でも有名な Andrew Ng 氏です。

■ How to Choose Your First AI Project
https://hbr.org/2019/02/how-to-choose-your-first-ai-project

Andrew Ng 氏と、彼が提供している Coursera のコースについては下記 URL を参照下さい。
■ Andrew Ng
https://www.coursera.org/instructor/andrewng
■ Machine Learning
https://www.coursera.org/learn/machine-learning

記事の内容

この How to Choose Your First AI Project は、最初に取り組むべき AI project についての記事となっております。
記事では、最初に取り組むべき AI project は pilot プロジェクト(簡単に言うと、検証実験レベルのもの)であることを前提として話しております。Pilot project から始めることで、企業側は AI 製品を作り出すためのノウハウや知識を得ることができるため、と筆者は述べています。

5 traits of a strong AI pilot project

ここでは、ステークホルダ達に投資してもらうために企業が取り組むべき AI pilot project として必要な5つの条件について紹介されています。その5つの条件は、以下となります。

・Does the project give you a quick win?(短期間で達成可能なプロジェクトか?)
6~12ヶ月で成功率の高いプロジェクトを、できれば複数行うのが理想

・Is the project either too trivial or too unwieldy in size?(プロジェクトの規模は適切な大きさか?)
少なくとも今後の AI project の投資に繋がるだけの価値のある内容かどうか

・Is your project specific to your industry?(project は業界のニーズに合っているか?)
同業に成果やメリットが伝わりやすい AI project を行うこと

・Are you accelerating your pilot project with credible partners?(信用できるパートナと pilot project を行えているか)
project を早く完了するには、外部からの信頼できるパートナも重要である

・Is your project creating value?(project は価値を生んでいるか?)
AI project は主に以下の3つのどれかの価値を生むが、それが生まれているかどうか
コスト削減
収益アップ
新たなビジネス
以上が、AI pilot project として企業が取り組む際に必要な5つの条件です。

Setting up your AI project for success

5つの条件は分かったところで、AI project を成功させるには、実際にどの様な準備が必要になるのでしょうか。
その準備内容は、主に下記の4つとなります。

・Appoint a leader(リーダを選ぶ)
職場の部門や部署の垣根を越えて働くことができ、そして AI との橋渡しもできる人材(つまり万能な人)

・Conduct business value and technical diligence(ビジネス的価値と技術的成果)
ビジネス上の価値だけでなく、技術的にも可能かどうかは確認すること

・Build a small team(少人数チームを編成)
15人くらいの少人数チームで始められるものが望ましい

・Communicate(社内の人間に周知させるというPR的な活動)
自分たちの プロジェクト を社内の人間や CEO に周知させるといったアピールも重要

おわりに

How to Choose Your First AI Project の記事の簡単なまとめは、以上となります。
これから AI の実装や導入を行おう、または プロジェクト に取り組もうと考えている方は、ぜひ一度この記事を読んで見て下さい。


AWS Marketplace にある Amazon SageMaker についてまとめてみた

はじめに

AWS マーケットプレイスにて提供されている Amazon SageMaker について簡単にまとめてみました。
詳しい内容については、下記のリンクを参照して下さい。

■ AWS Marketplace の Amazon SageMaker リソース
https://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/sagemaker-marketplace.html

Amazon SageMakerとは

Amazon SageMakerの主な特徴は3つあります。

・フルマネージド型
・機械学習モデルの構築やトレーニングが簡単に可能
・既存の機械学習アルゴリズムも利用可能

ユーザ側で特に機械学習の準備をしなくても、SageMaker を使用することで簡単にモデルの構築やトレーニングができるサービスです。

AWS MarketPlace にある Amazon SageMaker

AWS MarketPlace では、ユーザや企業が提供しているプロダクトを閲覧できます。

コンソール画面で、SageMaker と入力


左下の AWS Marketplace を選択


写真の項目をそれぞれ選択することで、MarketPlace にて提供されている SageMaker のモデルパッケージを閲覧できます。

今回は、MarketPlace に SageMaker のモデルパッケージを提供している企業の中で、提供数が多かった企業とそのプロダクトについて、それぞれ簡単に紹介したいと思います。

〇AWS
・幅広いクラウドサービスを提供
・様々なプロダクトがあるので、まず最初に見るべき先

〇ThingLogix Inc
・IoT関連のサービスを提供
・プロダクトは主に Prediction 関連

〇Sensifai
・映像・画像・音声を対象としたサービスを提供
・プロダクトは主に画像・映像を対象とした Recognition 関連

〇Persistent Systems
・ソフトウェアを開発している
・プロダクトは主に Classification、Identification、Detection など

〇Perception Health
・医療やヘルス関連のサービスを提供
・プロダクトは主に Predicton 関連

〇Twinword Inc.
・テキスト解析の API などを提供
・プロダクトは主に Inference model など

〇Cloudwick
・オープンソースやビッグデータを対象としたプロダクトを提供
・プロダクトは主に Prediction 関連

〇Figure Eight
・MLをアシストする役割のプロダクトを提供
・主なプロダクトは classify 系(CPU, GPU)

〇RocketML
・複雑で巨大なデータセットに対応
・主なプロダクト は Analysis、Classification、Detectionなど

おわりに

AWS MarketPlace にある Amazon SageMaker についてまとめた内容は、以上です。今回紹介した企業とその機械学習サービス以外にも、様々な企業がサービスを提供しております。
SageMaker を利用したいけど、モデルをどうするかで悩んだ際は、ぜひ MarketPlace を利用してみて下さい。


Introduction to Amazon Elastic File System まとめ

この記事では、AWSのトレーニングサイトにて紹介されている「Introduction to Amazon Elastic File System (EFS) 」を、翻訳しながら紹介していきたいと思います。
コンテンツへのアクセス方法はこちらに記載しています。

はじめに


Amazon EFSの主な特徴は3つあります。

・クラウド上に存在するセキュアでスケーラブルなフルマネージド型ファイルシステム
・費用は保存された容量によって変わる
・同リージョン内の複数AZ間で自動的に複製

Amazon EFSのポイントは、作成したEFSはAZをまたいで複数のEC2インスタンスにアタッチすることができることです。


EFSをリクエストすると、AWSサービスはNFSを複製し、ユーザのオペレーティングシステムにマウントするためのエンドポイントを用意します。
Amazon EFSはフルマネージド型のサービスであるため、ユーザはインフラやセキュリティを気にすることなく、セキュアなファイルシステムをデプロイすることが可能です。


ユーザは、それぞれ異なるデータサーバからでもファイルシステムにアクセスができます。
そしてファイルシステム上のデータはユーザ全員が共有できるので、コピーを取る必要もありません。


Amazon EFSは自動的にスケールアップ・ダウンが行われます。そのため、スケーリングについて悩む必要はありません。


Amazon EFSは従量課金制のため、利用した分のみに課金されます。また、EFSは自動的にスケーリングされるので、必要以上に利用しているといったこともありません。


Amazon EFSは、ディレクトリファイルやリンクなど様々なタイプのファイルシステムを保管できるよう、非常に高い可用性と冗長性を備えた作りとなっています。


セキュリティも万全です。ファイルシステムへのアクセスはIAMやKMS、AmazonVPCなどの様々なシステムを使って管理することが可能です。

Amazon EFSの導入デモ


それでは、実際にAmazon EFSを作成して、どの様なサービスなのかを見ていきたいと思います。


早速、Amazon EFS を検索します。検索する際は、「Amazon EFS」でも「efs」でも問題ありません。


こちらが、Amazon EFSの画面になります。
「Create file system」をクリックして、作成を開始します。


まずは、作成するAmazon EFS をどこのVPCなどに置くかを決めます。
表示されているVPCの中から、利用する先を選択します。


VPCを選択すると、そのVPC内にあるAZ・サブネット・IPアドレス・セキュリティグループの一覧が表示されます。この中から、Amazon EFSをマウントする先を選択します。


Amazon EFS のマウント先を決めたら、Amazon EFSのタグ付を設定します。

・Key: 「Name」と入力
・Value: 作成するAmazon EFSの名前を入力

入力が完了したら、「Next Step」をクリックします。


作成前の確認画面です。
作成するVPC、マウント先のAZやサブネット、タグの内容を確認して問題が無ければ「Create File System」をクリックします。
これで、Amazon EFSの作成は完了です。構築が完了するのに、数分かかります


最初のAmazon EFS の画面に戻ると、先ほど作成したAmazon EFSが表示されているのが分かります。


図の箇所をクリックし、下にある「Amazon EC2 mount instructions」というリンクを選択します。


リンクを開くと、インスタンスごとにAmazon EFSにインストールするコマンドが表示されています。
今回はLinuxインスタンスにインストールするので、コマンドは「sudo yum install -y nfs-utils」となります。


今回は上記のコマンドを利用します。

・「sudo yum install -y nfs-utils」
インスタンスにAmazon EFSをインストールするコマンド

・「sudo mkdir efs」
efsという名前のフォルダを作成するコマンド

・「sudo mount -t nfs4 -o nfsvers=4.1,rsize=1048576,hard,timeo=600,retrans=2
fs-4e6e3207.efs.us-east-1.amazonaws.com:/ efs」
Amazon EFSをマウントするコマンド


今回は、AZがそれぞれ異なる3つのインスタンスにAmazon EFSをインストールし、実際に共有することができるか試します。
3つのインスタンス名とAZはそれぞれ以下となります。

・InstanceB / us-east-1b
・InstanceC / us-east-1c
・InstanceD / us-east-1d


まず3つのインスタンスと接続します。
接続が完了したら、先ほどのコマンドを順番に入力していきます。


「yum install -y nfs-utils」と入力


「mkdir efs」と入力


「sudo mount -t nfs4 -o nfsvers=4.1,rsize=1048576,hard,timeo=600,retrans=2
fs-4e6e3207.efs.us-east-1.amazonaws.com:/ efs」と入力


全てのコマンドを入力し、Amazon EFSとの接続は完了しました。
ただ、「ls」と入力してもファイルが作成されていないため、空の値しか表示されません。
次に、EFS内にファイルを作成します。


Amazon EFSに、instance-B側でファイルを作成してみましょう。
「vim instance-b.txt」と入力して、instance-b.txtというファイルを作成しました。

ここで、instance-C側で「ls」と再び入力すると、instance-b.txtが表示されます。
instance-Bで作成したファイルが、instance-C側でも確認できることがわかります。

それでは、instance-C側でもファイルを作成してみます。
「vim instance-c.txt」と入力して instance-c.txt ファイルを作成しました。

instance-D側で「ls」と入力します。
すると、 instance-b.txt と instance-c.txt の2つが表示されました。
2つのファイルが作成されていることが確認できます。

まとめ

Amazon Elastic File Systemについてのまとめは以上です。Amazon EFS内に作成されたファイルは、接続されたインスタンス同士で共有できることが分かったかと思います。複数インスタンスでのファイル共有が可能なため、チームで運用や管理をするのに非常に利用しやすいサービスかと思います。ぜひ、利用してみて下さい。


Introduction to AWS Management Console まとめ

この記事では、AWSのトレーニングサイトにて紹介されている「Introduction to AWS Management Console」を、翻訳しながら紹介していきたいと思います。
コンテンツへのアクセス方法はこちらに記載しています。

はじめに


AWSには様々なサービスがありますが、AWS Management Consoleは、そんな様々なAWSのサービスを利用するユーザが最初に行き着くインターフェイスのことです。この画面の内容について詳しくなれば、よりAWSサービスを使いこなせるようになります。

AWSにログインすると、画面の様なインターフェイスが表示されます。ここがホームページ画面です。
ユーザはここから各々の利用目的に沿って、AWSサービスを利用していきます。

この画面に表示されている項目で重要となるのは、以下の4点です。

・Shortcut
・頻繁に利用するAWSサービスをショートカットとして表示

・Alerts
・AWSからの重要な通知などがある場合はここに表示

・Region
・現在AWSサービスを利用しているリージョン(地域)を表示

・Support
・AWSサポートに対して障害や開発についての質問などが可能

ホームページ画面では、ユーザが利用しているリージョンで提供されている全AWSサービスを閲覧できます。
また、直近利用したAWSサービスも表示されているので、ショートカットに登録していなくても直ぐに見つけることができます。

AWSサービスを検索する際は略称・正式名称のどちらでも検索できるだけでなく、そのサービスに関連するキーワードからも検索が可能です。例えば、NoSQL関連のサービスを検索したい場合、「nosql」と入力するとDynamoDBやEMRなどの関連するAWSサービスが候補として表示されます。

AWS Servicesの下には、Build a solutionというテーマが用意されています。ここでは、表示されているテーマに沿っ たAWSサービスの作成や設定をすぐに開始することができます。
これはチュートリアルではなく、ユーザアカウント上で実際に作業を行います。

Build a solutionの更に下に画面をもっていくと、Learn to buildが表示
されています。
ここには、AWSサービスを利用する際のチュートリアルやトレーニングがテーマに合わせてそれぞれ用意されています。

AWSスタート画面の右側はHelpful tipsと呼ばれており、AWSに関する最新情報やベストプラクティスが表示されています。

AWSサービス画面について

次は、AWSサービス画面の見方について紹介していきたいと思います。
どのAWSサービスも、コンソール画面の構成と内容は基本的にはほぼ同じなので、今回はEC2インスタンスのサービス画面を例にしたいと思います。

画面左側にはそのAWSサービスで利用する主な項目が表示されています。EC2であれば、インスタンスだけでなく、ELBやセキュリティグループなども表示されています。

画面の真ん中では、利用しているAWSサービスの状態が表示されています。ここを見れば、ユーザが利用しているサービスの稼働状況や状態などがすぐに分かります。また、何かあれば右上のヘルプをクリックすることで、より詳しい情報が得られます。

特定のリソースに関する詳しい情報がほしい場合は、選択することで画面下により詳細な情報が表示されます。

タグ付け

ユーザはAWSサービスをそれぞれ特定のタグをつけることでより管理しやすくすることが出来ます。
図の様に、用途やサービス別にタグを設定しておくことで、管理がしやすくなります。

一度に複数のサービスにタグを追加する際は、画面左上のResource GroupsバーからTag Editorに飛ぶことで、タグの編集ができます。

AWSはモバイルアプリも用意されています。PC環境がなくとも、AWSにログインしてサービスを利用することができます。

まとめ

AWS Management Consoleについてのまとめは以上です。AWSサービス画面の見方を知ることで、より効率よく利用できるようになると思います。今回紹介した内容でまだ利用してないサービスがあれば、ぜひ、この機会にお試し下さい。


AWS RedshiftのElastic resizeを試してみた

Redshift Elastic resize

従来のリサイズ方法 Classic resize ではクラスター自体の再作成行いノードの増減させる方法でしたが、
Elastic resizeではクラスターにノードを追加する処理となるためノードの変更にかかる時間を大幅に短縮できるようです。

2019/03/20現在、Elastic resizeはインスタンスタイプがdc1ファミリーでは利用できず、
dc2.large, ds2.xlargeでは1/2か2倍のノード数、
dc2.8xlarge, ds2.8xlargeでは1/2~2倍のノード数が選択可能です。

元のノード数が4の場合それぞれ以下のノード数が選択できます。

また、元のノード数を基準としているようで、
4ノード → 8ノード → 16ノードのようなリサイズを行うことはできませんでした。

リサイズにかかる時間を測定してみた

今回はdc2.large、ノード数2のクラスターに8GB程度のデータを投入しClassic resizeとElastic resizeでノード数変更にかかった時間を測定してみました。
ノード数2から4への拡張と、4から2への縮小でそれぞれ測定しています。

Classic resize

ノード数2から4への拡張(31分)

ノード数4から2への縮小(29分)

Classic resizeでは拡張、縮小共に30分程度でした。

Elastic resize

ノード数2から4への拡張(9分)

ノード数4から2への縮小(7分)

Elastic resizeでは拡張、縮小共に10分未満でした。

まとめ

変更できるノード数に制限があるものの
短時間でノードの変更が行えるため必要になった時だけ拡張する、より「クラウドらしい」使い方が
Elastic resizeで実現できるのではないでしょうか。


【Introduction to AWS IoT】の和訳してみた

この記事は、AWS サービスの1つであるAWS IoT についての概要が、「AWS Training and Certification」にて公開されているのでこちらを翻訳しながら紹介していきたいと思います。
コンテンツへのアクセス方法はこちらに記載しています。

Introduction to AWS IoT


AWS IoTは、AWSとデバイスをセキュアにつなぐことができるマネージド型のプラットフォームです。そのため、様々なデバイスとAWSサービスを組みあせて利用していくことが可能となります。

AWS IoTの主な特徴として5つ挙げられます。

・どの様なスペックでもサポート可能なプロトコルサポート
・IoTの規模に合わせたスケーリング
・非常にセキュアな環境
・クラウドやモバイルアプリとの統合
・SDKやツールへのサポート対応

AWS IoT Components

図のように、AWS IoTには様々なコンポーネントが用意されています。ここでは、1つひとつのコンポーネントを見ていきながら、それぞれの役割について紹介していきます。

Device GatewayはAWS IoTとデバイス間のセキュアな通信を可能とします。Pub/Subメッセージングモデルを使用することで、1対1、または1対多の通信を可能としています。
Device GatewayはMQTT、webソケット、そしてHTTP1.1プロトコルに対応しており、自動スケーリングが可能なため、インフラ環境をプロビジョニングする必要がありません。


Device GatewayはMessage Brokerとホストしています。Message Brokerは、AWS IoTとメッセージの送受信を可能にするサービスです。ただし、AWSアカウントやリージョンを飛び越えた送受信はできません。

AWS IoTではデバイスやサービス同士での通信を安全に行えるよう、セキュアなコミュニケーションチャンネルを提供しております。

AWSクラウドセキュリティメカニズムは、AWS IoTとデバイスやAWSサービス間で行われるデータ通信を保護します。AWS IoTと接続されているデバイスは、Message Broker やThing Shadowへのアクセスが保証されている必要があります。AWS IoTに送受信される全てのトラフィックはTLSによって暗号化されている必要があります。

AWS IoTでは、4つの認証手法をサポートしております。

・X.509 certificates
・IAM users, groups, and roles
・Amazon Cognito identities
・Federated identities

これら4つの認証手法は、モバイルアプリやWebアプリ、そしてデスクトップアプリだけでなく、AWS CLIコマンドでの利用も可能です。AWS IoTデバイスでは、一般的にX.509 certificatesを利用しております。
また、ポリシーを使ってそれぞれのアイデンティティの実行可能範囲を制限することができます。

AWS IoTのルールエンジン機能は、送られてきたMQTTメッセージを読み取ります。その後送られたメッセージに記載されたルールに沿った行動を実行してくれます。

AWS IoTのルールエンジン機能の仕様について例をもとに見てみましょう。
一台の車が雨の中を走っていたとします。そのとき、他の自動車モジュールには雨の中を走行する車のエンジンの稼働状況や、道路状況などの情報が定期的に送られております。そして、その情報はAWS IoTにも送られています。ルールエンジンはそのデータをzip codeにある全ての車に送り、雨の中の運転に対して警告します。
それと同時に、AWS IoTはこのデータをS3バケットにロードし、Amazon Quick Sightでこのデータを実行するために、Visual Analyticsを初期化します。また、予想外のエンジン修理に備えて、Amazon MLも起動させておくことが出来ます。

デバイスは常にAWS IoTと接続状態にあるわけではありません。接続が途切れることもあります。Thing Shadow(別名:Device Shadow)は、デバイスの直近の情報や状態をストアすることが可能なJSONドキュメント仕様のサービスです。
Thing ShadowはMQTT・HTTPで操作することができます。

こちらも例を見てみましょう。ある質量分析装置がAWS IoTに接続しており、数時間サイクルでAWS IoTにステートメントを報告しているとします。装置はサイクルが完了したら接続が切れるように設定されておりますが、できたら装置とはオンライン接続時と同じ様にシームレスで繋がっていて欲しいと考えております。
Device Shadowは、質量分析装置のオンライン接続が中断された際にはステートメントを報告するよう設定します。これによりDevice Shadowには装置のステートメントが維持されているので、そこからステートメントを調べることも出来ます。

Device Registryはデバイスのデータベースと認識して頂ければと思います。デバイスからDevice Registryへのエントリについては任意ではありますが、このサービスを利用することで、デバイスのエコシステムをより効率的なものにすることができます。

Device Registryは「Thing」と「Thing Type」で構成されております。「Light Bulb」を例に説明して行きたいと思います。Thing Typeには「Light Bulb」を割り当てます。これはシリアルナンバーのような役割を果たします。そして、Thingには「My Light Bulb」を割り当てます。これは、シリアルナンバーに対する個々の識別を表しています。これにより、Device Registryにある1つひとつのデバイスが個々に認識できるようになります。メタデータをもとに、Device Registryから接続しているデバイスを見つけることも可能です。

AWS IoTには、Device SDKと呼ばれるサービスがあります。これによってAWS IoTとデバイスを結びつけることが可能となります。Device SDKは5つあります。

・C-SDK
・Cソースファイルの集合体でAWS IoTプラットフォームとアプリをセキュアに繋ぐ

・JS-SDK
・MQTTを使用してAWS IoTに接続するジョブアプリを作成可能

・Arduino Library
・AWS IoTとArduino Yunの接続可能

・iOS SDK
・オープンソースソフトウェア開発キット

Android SDK
・AWSを使ったモバイルアプリの開発に必要なドキュメントや、ライブラリサンプルを提供

Hyperscale Infrastructure

AWS IoTは他のAWSサービスとシームレスに作用します。AWSはどの様なアプリに対しても、ハイパースケールなインフラストラクチャを提供します。例えば、AWS Lambdaであれば、コードを走らせるためのサーバを用意する必要はもうありません。何かしらのイベントが発生した際の対応にのみLambdaを使う、といったことができます。

また、AWS IoTを使用することで、他のAWSサービスと合わせてセキュアでパワフルなIoT開発が可能となります。

おわりに

AWS IoTについての紹介は以上です。既存のAWSサービスを組み合わせながら、身近なデバイスをお手軽にIoT化することができるこちらのサービス、是非お試しください。


【AWS新アイコン改訂版】まとめてみた

AWSより、新アイコンの改訂が2月7日に行われました。以前のアイコンから仕様がどう変化したのかを、紹介していきたいと思います。
新アイコン・新アイコン改訂版は、ともに、ここからダウンロードできます。

新アイコン改訂版の特徴

2018年10月に、AWS新アイコンが発表されました。しかし2019年2月に改訂版が発表されました。
改訂版アイコンと以前の新アイコンとの違いは主に4点あります。
それぞれ、見ていきましょう。

1. アイコンを2パターン用意

改訂版では、アイコンをダーク背景で使う場合と、ライト背景で使用する場合の2パターンが用意されています。新アイコンは、モノクロのアイコンしかなかったため、利用する際には背景を気にする必要がありました。しかし、改訂版のおかげで背景の色を気にすることなくAWSアイコンを利用することができるようになりました。

新アイコン

新アイコン改訂版(ダーク背景用)

新アイコン改訂版(ライト背景用)

2. アイコンがカラフルに

これは、旧アイコンもそうでしたが、新アイコンから色がなくなり、モノクロのアイコンになりました。しかし、改訂版では、アイコン全てがカラフルになりました。

新アイコン改訂版(ダーク背景用)

新アイコン改訂版(ライト背景用)

3. re:Inventで紹介されたサービスも追加

今回の改訂で一番の変化かと思われますが、去年の2018年に行われたre:Inventで紹介されたサービス群のアイコンが、この度追加されることとなりました。もちろん、ダーク背景・ライト背景の2パターンあります。
新アイコンでは、まだ存在しませんでしたが、この改訂によって新サービスの提案や構成図の作成もしやすくなったと思います。
ここでは、その新サービスのアイコンをいくつか紹介したいと思います。

■AWS Lake Formation

■Amazon Quick Sight

■Amazon SageMaker Ground Truth

■Amazon Elastic Inference

4.アイコンとサービス名の切り分け可能

新アイコンでは、アイコンとサービス名が基本的にはセットになっていたため、名称の変更や省略が出来ませんでした。改訂版では、アイコンとサービス名が別々になっているため、必要に応じてサービス名の表示・非表示が可能となりました。

おわりに

以上で、新アイコン改訂版についての説明を終わります。新アイコンが改訂されたことで、より使いやすくなったと思いますし、なによりre: Inventで紹介された新サービスのアイコンも作成されたので、提案の幅がより広がったと思います。この新しいAWSアイコン、ぜひ利用してみてください。


【Introduction to Amazon QuickSight】の和訳してみた

この記事は、AWS サービスの1つであるAmazon QuickSight についての概要が、「AWS Training and Certification」にて公開されているのでこちらを翻訳しながら紹介していきたいと思います。
コンテンツへのアクセス方法はこちらに記載しています。

Introduction to Amazon QuickSight


今までBIのメリットを享受しようとする場合、特定のIT知識や経験及びSQLなどのプログラミングスキルを必要としていました。しかし、解析という点において時間と費用がかかるのは賢明とはいえません。現在、解析に求められているのは、マネージャもアナリストも使えるシンプルなビジネスツールアプリです。Amazon QuickSight はその要望に応えるために開発されました。
Amazon QuickSightは低コストなだけなく、膨大なデータをすばやく解析することができるビジネスインテリジェント・ツールです。

Amazon QuickSightの使い方はとても簡単で、基本的にはこの8つのステップを踏むだけです。

1.データセットの作成
2.データの用意
3.アナリシスを作成
4.ビジュアルを作成
5.ビジュアルを設定
6.ビジュアルを追加
7.storyにシーンを追加
8.ダッシュボードに発行

QuickSightは幅広いデータソースをAWS環境・オンプレミス環境の両方でサポートしております。また、Athena、Redshift、MariaDBなどを含むリレーショナルデータベースのサポートだけでなく、S3データソースについても、幅広くサポートされております。

データセットは、データソースという大きな枠組みの中に存在する部分集合的な役割を担っております。データソースは、様々なデータセットを作成する際に使われます。
データセットはフィルタリングや名前の変更、分野のフォーマット化などによって作成できます。
データの種類はそれぞれの分野ごとに特定することができ、データのビジュアルもこれらのデータセットから作成されます。

Analysisはストーリやビジュアルのコンテナといった役割を果たします。Analysisはそれぞれ20の異なるデータセットを取り扱うことが可能です。

Analysisを開始すると、画面右側にはこの様な空白が表示されているので、 ここに左側にあるフィールドをドラッグ&ドロップします。
Amazon QuickSightはデータごとに最適なビジュアルを自動的に判別してくれますが、自分で任意のビジュアルを選択することも可能です。

Filterを使えば、データの表示の仕方や内容に対して様々なカスタマイズができます。フォーマットやビジュアルの変更、表示内容やタイトルの変更もできます。

データ表示も様々な種類が存在し、任意で好きなものを選ぶことができます。
・棒グラフ
・線グラフ
・円グラフ
・ヒートマップ
・ピボットテーブル
・ツリーマップ 
など。

X-Rayを使用すれば、データのパターンやアノマリーを見つけることもできるようになります。

Storyは Analysisの繰り返しをまとめたものです。これにより、同じ解析パターンを繰り返し行うことで、その時のトレンドやイベントといった重要な変化を、たった一度のAnalysisをしたときよりも見つけやすくなります。

Dashboardが、QuickSightの最終的な成果物となります。
ReadOnlyのスナップショットはemailでシェアすることができます。Dashboard はデータのスナップショットしか保有できませんが、ユーザはそのデータを他のデータとの統合や変更、また、CSVファイルに変換して送信することもできます。

QuickSightは企業向けにも設定されており、Standard とEnterpriseの2種類のプランがあります。

・リージョナルデータの保護
・ADとの統合
・データをセキュアに通信
・CloudTrailとの統合

デモ

それでは、実際にAmazon QuickSightを試してみましょう。

コンソール画面から「Quick Sight」と検索するか、AWSサービスのAnalyticsの項目にある「QucikSight」を選択します。

QuickSightの画面を開いたら、右上にある「Manage Data」を選択します。

「Manage Data」の画面を開くと、既存のデータセットが表示されております。この既存データを使ってもOKですし、必要とあらば新たにデータを作成するのも良しです。

今回は既存のデータセットの1つを使用します。
データセットをクリックすると図の様な画面が表示されるので、「Edit data set」を選択します。

「Edit data set」を開くと、この様にスプレッドシートのようなものが表示されています。一番上の列のヘッダー名はユーザ自身で変更することができます。左側には既存のフィールドが表示されています。

右側の空白に、左から表示したいデータをドラッグ&ドロップします。また、左下から表示するデータの表示方法を選択することができます。

画面には、選択した「教育」のデータが棒グラフで表示されております。このグラフでは保有している学歴とその人数が表示されています。

それは、このグラフに「性別」というデータを加えます。すると、図の様なデータが表示されました。

・水色:女性
・紺色:男性

先程のデータを棒グラフから円グラフに表示を変更すると、図の様に表示されました。

表示されたデータのサイズは変更することができます。また。左上の「Add」→「Add Visual」を選択することで、画面に表示するデータを追加することができます。

今度は、先ほどと同じ「Education」・「Gender」を表示したデータに対してフィルタリングを行います。フィルタリングは、左にある「Filter」を選択します。

「Filter」から「Gender」を選択したら、「Male」をクリックします。

これで、画面には、「Male」のみのデータが表示されることとなりました。

同じ手順で、今度は「Gender」を「Female」のみに絞ったデータを円グラフで表示してみました。

データは、このようにいくつでも表示させることができます。
これで、画面には合計3つのデータが表示されることとなりましたが、左上の棒グラフは他2つのデータと比較すると内容が合致しないので、変更してみたいと思います。

画面上の「Field wells」をクリックすると、隠れていた画面が表示されました。ここには、選択したデータを構成している要素が表示されます。今は棒グラフのデータを選択しているので、「Axis」、「Values」、「Group Color」といった3つの要素が表示されます。

この棒グラフを他2つと同じ内容と表示に変更したいと思います。他の円グラフで設定した内容を確認したら、棒グラフのデータを選択した状態で「Field wells」をそれぞれクリックして変更を加えます。

次に、左下の「Visual types」から円グラフを選択します。これで、他2つ同じ円グラフのデータが完了しました。

最後に、それぞれのデータのタイトルを変更して、データの内容を分かりやすくしましょう。

X-Ray

それでは、このデータをX-Rayを使って見てみましょう。
X-Rayを選択すると、左側に選択したデータに対する情報が表示されます。上から見ていくと、56.35%の女性が学歴としてBS(Bachelor of Science)を保有していることがわかります。また、90.1%の女性がPhDかBSを保有していることが分かります。

おわりに

AWS QuickSightについての紹介は以上です。ここで作成したデータは、他のユーザとシェアすることもできるので、特定のデータを扱った研究や実験をチームで行うときなどもスムーズに行うことが可能です。データの読み取りや扱いが重要視されるに従って、今後利用する機会がますます増えるサービスになりますね!次回もお楽しみに!


【Introduction to AWS FSx for Lustre】の和訳してみた

この記事は、re:Invent2018にて紹介されたサービスの1つであるAWS FSx for Lustre についての概要が、「AWS Training and Certification」にて公開されているのでこちらを翻訳しながら紹介していきたいと思います。
コンテンツへのアクセス方法はこちらに記載しています。

Introduction to AWS FSx for Lustre


Amazon FSx for Lustreとはフルマネージド型のファイルシステムで、機械学習やメディア処理など、ハイパフォーマンスなコンピュータ処理も可能です。また、ハイパフォーマンスはSSDストレージを搭載しているため、高スループット・低レイテンシな環境が用意されています。また、既存のAWSサービスとの連携も可能なため、セキュリティやコンプライアンス面も十分対応しております。

Lustreの特徴について紹介したいと思います。世界のトップ100のコンピュータのうち、60%がこのLustreを取り入れております。

・スケーラブルなファイルシステム
・マルチコンピュータクラスタ
・テラバイト/秒以上のスループット tens of thousands of nodes
・数百ものサーバに数十ペタバイトのストレージ容量を搭載
・テラバイト/秒のスループット

Lustreの一番の特徴はparallel distributed file sysytemです。以下の様な特徴があります。

・高スループット、低レイテンシによる大量のデータ処理が可能
・データをマルチネットワークで保管しているので、数千のPCインスタンスの同時アクセスにも対応

Benefits

Lustre file sysytemを利用することで主に6つのメリットを得ることが出来ます。

・ハイパフォーマンスなファイルシステムを搭載
・S3内の既存のデータセットとのシームレスな統合が可能
・EC2インスタンスとストレージのシェアが可能
・PCIDSSやISOに準拠したセキュリティとコンプライアンス
・CLIやSDK、またはコンソール画面から簡単にLutstre file systemの作成が可能
・従量課金での使用が可能

1つ目のメリットとして、非常にスケーラブルなパフォーマンスを有しているといった特徴があります。

・100+ GiB /秒ものスループット
・数百万IOPS搭載
・大量のデータ処理を高スループット・低レイテンシの環境で実行可能

2つ目はS3との統合です。

・S3内のデータセットとのリンクが簡単に可能
・Lustre file systemに自動的にS3内のデータを提供可能
・S3より取得したデータを解析した後に、その結果をS3へ再び戻すことが可能

3つ目はアプリケーションとの統合です。

・数千のEC2インスタンスの同時アクセスも可能
・Linuxの既存システムを変更せずとも使用可能
・ファイルの管理や読み書きの結果整合性も行う

4つ目はセキュリティです。

・データの暗号化による保護
・セキュリティグループやIAMなど既存のセキュリテイサービスを利用可能
・国際基準のセキュリティとコンプライアンスを備えている

5つ目はフルマネージドな環境であることです。

・ハードウェアのプロビジョニングからセットアップ、マネージまで管理
・データの入出力の動きを管理
・Lustreソフトウェアの設定も管理

6つ目のメリットは、コストメリットという点です。

・従量課金での利用が可能で、最低限の利用といった設定も無い
・S3にて低コストでデータのストレージが可能
・低コストで最適なパフォーマンスを生むよう設定

ユースケース

上記のようなメリットがあるため、Windows FSx for Lustreは、HPCのような大規模なCPU演算が必要な処理や、高スループット・低レイテンシな環境が重要となる機械学習、そして大量のデータと画像処理が必要となるメディア処理・ビデオレンダリング作業などでの利用を想定しております。

おわりに

AWS FSx for Lustreについての紹介は以上です。フルマネージドでありながら非常に高いスループットと低レイテンシ機能を備えているLustreの登場で、今後の機械学習の分野の研究がますます発展していきそうですね!


AWS Redshift Query editor試してみた

AWS Redshift Query editor

AWS RedshiftのQuery editorはコンソール上から作成済みのredshiftに対してクエリを直接実行できるサービスです。

JDBC/ODBCクライアントを利用せずともクエリを実行でき、その場で実行結果を確認、結果をファイルとして取得することが可能です。
また、クエリを保存しておく機能もあり、クエリの再利用が可能です。

2019/02/25現在、ノードタイプがdc1.8xlarge, dc2.large, dc2.8xlarge, ds2.8xlargeのものに限り利用することができます。

クラスターの準備

今回はQuery editorで対応しているノードタイプの中で一番小さいdc2.largeを選択しました。

Query editorの準備

Query editorへ移動し先程作成したクラスター名とDB名、ユーザー、パスワードを入力します。
これだけで準備は完了です。

Query editorの使用

Query editorはデータベース情報のフィールド、クエリ編集のフィールド、クエリ実行結果のフィールドで構成されています。
以下はテーブルの一覧取得を試した結果となります。
「Download CSV」からクエリの実行結果をCSVファイルとして取得できます。
「View execution」からは各ステップの実行にかかった時間をグラフとして確認することができます。

クエリは1回の実行につき1行までで、複数行実行しようとするとエラーになります。

「Save as」からクエリを保存することができます。
名前と説明の入力が必要です。

保存したクエリは「Saved queries」に一覧で表示されます。
使用したいクエリを選択し「Open query」をクリックすると自動的にデータベースへ接続され実行可能な状態となります。

クライアントのインストールや設定など行う必要がなく、コンソールから直接クエリを実行できるQuery editor
1回で1行までの実行など制約はあるもののちょっと試したい時など役に立つのではないでしょうか。