Amazon EC2 Inf1 インスタンスについて
この記事は株式会社ナレッジコミュニケーションが運営するAmazon AI by ナレコム Advent Calendar 2019の17日目にあたる記事になります。
はじめに
AWS re:Invent 2019にてAmazon EC2 Inf1インスタンスが発表されました！
Amazon EC2 Inf1インスタンスは、AWSが設計、開発、をしたハイパフォーマンス機械学習推論チップであるAWS Inferentiaチップを16 基まで利用でき、推論チップを最新のカスタム第2世代インテル® Xeon®スケーラブルプロセッサおよび最大100Gbpsのネットワークと組み合わせることにより、ハイスループットの推論を可能にしました。
簡単にまとめると、AWSで機械学習の推論を実行するのに最適化されたインスタンスです。
AWS Inferentiaチップとは
AWS がカスタマイズした、高パフォーマンスの機械学習推奨チップ
- 高性能
AWS Inferentiaの各チップは低電力で最大128TOPS(1秒間に数兆回の操作)のパフォーマンスをサポートしています。また、AWS InferentiaはFP16、BF16、およびINT8データ型をサポートしています。さらにAWS Inferentiaは32ビットのトレーニング済みモデルを取得しており、BFloat16を使用して 16 ビットモデルの速度での実行が可能です。
- 低レイテンシー
AWS Inferentiaは、大規模なオンチップメモリを特徴としています。このため、大規模なモデルのキャッシュが可能となり、チップ外に保存する必要はありません。この結果、AWS InferentiaのプロセッシングコアであるNeuronコアがモデルへ高速でアクセスでき、チップのオフチップメモリ帯域幅によって制限されないため、推論レイテンシーの低下に大きく貢献します。
- 使いやすさ
AWS Inferentiaには、AWS Neuronソフトウェア開発キット(SDK)が付属しています。これで、複雑なニューラルネットモデルが利用可能となり、AWS InferentiaベースのEC2 Inf1インスタンスを使って実行する一般的なフレームワークで作成およびトレーニングすることができます。Neuronはコンパイラ、ランタイム、プロファイリングツールで構成され、TensorFlow、Pytorch、MXNetなどの一般的な機械学習フレームワークにも統合済みです。このため、EC2 Inf1インスタンスの最適なパフォーマンスが実現します。
Amazon EC2 Inf1インスタンス仕様
以下、Amazon EC2アップデート – 高性能で費用対効果の高い推論のための AWS Inferentia チップを搭載した Inf1 インスタンスで公開されている仕様になります。
Amazon EC2 Inf1インスタンス価格
Amazon SageMakerで間もなくAmazon EC2 Inf1インスタンスをサポート
Amazon SageMakerで作成したモデルがAmazon EC2 Inf1インスタンスのAuto Scalingクラスターで複数のアベイラビリティーゾーンに分散してデプロイされ、高いパフォーマンスと可用性が発揮されます。
おわりに
2019/12/17現在、バージニア北部リージョンでEC2インスタンスとしては利用可能です。
Amazon SageMakerで使用可能になったタイミングで改めてご紹介したいと思います。
関連URL
AWS re:Invent 2019で発表【Amazon SageMaker Studio】
AWS re:Invent 2019で新たなサービスがドドン！と発表されました！
特に機械学習のサービスは豊富なリリースが発表され、大注目されています。
今回は初心者の方向けに分かりやすく「Amazon SageMaker Studio」というAWSの機械学習における幅広いサービスを一つの画面で実行できる環境について、ご紹介させて頂きたいと思います。
AWS re:Inventって？
AWSイベント 公式ページより
AWS re:Invent は、AWSやパートナーによって多くの新サービスや新機能が発表と、 1,800 を超えるセッションや最新のテクノロジーの展示やデモンストレーションが行われます。
またテクノロジーを満喫できるパーティ re:Playなどの様々なプログラムがラスベガスのエリアで開催される、AWS最大にして世界規模のカンファレンスです。
Amazon SageMaker Studio
画像は公式サイトより。
Machine learning開発に必要なすべてのツールを統合したWebベースの統合開発環境(IDE)。
AWSが機械学習に特化した統合開発環境としては初のサービス。
ぜーんぶまるっと統合した状態で視覚的にわかりやすく、機械学習に必要になるすべての環境が自動的に用意されています。
これにより迅速に変更を加え、結果を観察し、より速く反復することができるので反映する時間を短縮できます。開発の生産性を大幅に向上できそうです！
Webベースで動作するので、Webブラウザから利用することができ、プロジェクトを作成する段階で自動的にインスタンスの作成やサーバのセットアップも完了しインフラの管理も必要がない仕様になっています。
統合されているツール
- Notebooks
- notebookをささっと使い始められる
- Experiments
- 機械学習の実験を構成・記録・比較できる
- Debugger
- リアルタイムに自動アラートでモデルのバグを排除する
- Model Monitor
- 稼働中のモデルの監視、検出ができる
- Autopilot
- どのような判断によってモデルを構築したかを、詳細に視覚化する。ユーザーのデータから最適なモデルを自動的に作成できます。
なぜ統合開発環境が必要か
自前で機械学習を行うすべての実行環境を行おうとすると、本来は複雑な作業をする上、ツールの行き来を手動で行うのでいちいち時間がかかるといった面倒があります。
機械学習を行う手順とそれらを実行するツール間が全て別々になっているからです。
- データの収集と前処理
- モデリング
- 学習
- 評価と最適化
- アプリケーションへの組み込み
たとえば、新しいアルゴリズム（問題を解くための計算方法や手順）を試したりハイパーパラメーター（推論や予測の枠組みの中で決定されないパラメータのこと）を設定する際、数百や数千の実験を行いますが、この実験結果をすべて手動で管理することになります。
これに時間がかかりすぎると、最善のモデルを見つけ出すことや実験の中で得た知見を活用することが非常に難しくなります。
その課題を解決するためにAmazon SageMaker Studioを使用するべきということです。
活用法
- 作業工程、学習、訓練、データの展開や実行するプログラムを作るコードの記述。
- 実験を追跡、データの視覚化、バグを修正する作業と監視
- ノートブック、データセット、コード設定、 トレーニングの分析、アラートを管理
- モデルのチューニング、モニタリング
- データセットの前処理やパラメータを調節したり、 複製、再生したりできる
- 手順のすべては環境内で追跡
- 同じプロジェクトに対して作業している他のユーザーと、プロジェクトやフォルダを共有する機能もありそこでノートブックや成果について議論することができます。
12月12日(木)現時点ではオハイオUS Eastリージョンで使用可能です。
早く活用できるようになりたーい！
公式サイトリンク
【初心者でも試せる】Amazon lexのサンプルチャットボットに触ってみた
「Amazon lex」とは？
まだ自然言語処理も機械学習も習得してないけど、チャットボットアプリ作ってみたいなぁなんて呟いてたら
Amazonに実現できそうなサービス、ありました！
以下Amazon Lexの概要から引用
音声やテキストを使用して、アプリケーションに対話型インターフェイスを構築するサービスです。
音声のテキスト変換には自動音声認識 (ASR)、テキストの認識には自然言語理解 (NLU) という
高度な深層学習機能が使用できるので、リアルな会話を実現するアプリケーションを開発できます。
Amazon Alexa に使われている深層学習技術と同じ技術を利用できるので、自然言語での高度な対話ボット (チャットボット) を短時間で簡単に構築できます。
どちらかというと「音声対話アプリケーションをつくる」という点に強みがあるそう。
■使いやすい
数分でオリジナルのチャットボットを作成し、会話型インターフェイスをアプリケーションに組み込むプロセスを実行できるように使いやすいコンソールを提供しています。
いくつかのフレーズの例を提供するだけで、 音声やテキストを使用して対話できる優れた自然言語モデルを構築し、質問したり、答えたりすることができます。
深層学習や機械学習の前提知識はいらないとのこと。
■AWSと統合できる
Amazon Lex では、AWS Lambda、AWS MobileHub、および Amazon CloudWatch との組み込み統合を提供しています。
また、Amazon Cognito や Amazon DynamoDB など AWS プラットフォームの他の多くのサービスと簡単に統合できます。AWS プラットフォームのセキュリティ、モニタリング、ユーザー認証、ビジネスロジック、ストレージ、モバイルアプリケーション開発を活用できます。
■一般的なユースケース
情報ボット – 質問に回答する、顧客サポート用の自動化されたボットを構築する
アプリケーション用ボット – ピザの注文ボットまたは旅行予約ボットを構築する
企業の生産性ボット – 企業のデータに接続するカスタムボットを構築する
デバイス制御ボット – 接続済みの機器に、Amazon Lex を使って制御コマンドを発行
サンプルチャットボットでレンタカーの予約
簡単で使いやすい、、そこまで言うなら試しに使うべきですね！
まずAmazon lexのトップページから「Book trip」を選択。Bot Nameは好きな名前で。
ページ下部にテキストまたは音声入力のセンチメント分析をする「Sentiment analysis」の選択が
ありますが今回は使わないでシンプルに試します。
IAMロールは自動で作られるようです。
COPPAは、13歳未満の子供のプライバシーを守る法律のことなので一応成人の筆者はNoを選択して
右下の「Create」ボタンを押して進んで行きます。
チャットボットの中身の編集画面が出てくるのでサンプルを試すだけであれば「Build」をクリックして
数秒待てばbotが作成されるのでこのまま使うことができます。
「Sample utterances」に予め用意されている、和訳すると「車を予約したい」を投げれば問題なくbotが答えてくれます。
上にある入力項目に要望の言葉を＋ボタンを押して追加することができるようです。
試しに日本語で追加してみました。
では右にあるbotにレンタカーの予約をお願いしてみます。
ちゃんと返ってきましたね。「どこで車をレンタルしますか？」と聞かれています。
サンプルの５つのスロットの中の「PickUpCity（都市の選択）」に当たります。
※スロット（Amazon概要から）
インテントを実現するためにはユーザーからの情報が必要。この情報は "スロット" に取得されます。例えば、予約のインテントに対しては名前と時間を定義します。
質問に答えると「何日からレンタルを開始しますか？」「何歳の方が運転されますか？」とサクサク次のスロットの質問が返ってきます。
このようにして５つのスロットのやりとりを手軽に試すことができました！
日本語で返答させてみる
promptの応答もSlot typeに合わせて好きな言葉に編集できるみたいです。
■料金
最初の 1 年間は、1 か月あたり最大で 10,000 回のテキストリクエストと 5,000 回の音声リクエストを無料枠で使うことができます。
無料枠を超えると使用した分のみ料金が発生します。ボットにより処理されたテキストリクエストまたは音声リクエストの数に基づいて課金されます。
音声リクエストは 1 回あたりの料金は 0.004 USD、テキストリクエスト 1 回あたりの料金は 0.00075 USD です。
使用量は「処理されたリクエスト」を単位として測定され、その値を月末に合計してその月の請求額が計算されます。
終わりに
サンプルでは必要なかったのですがちゃんとbotを作るときにはLambda関数も書く必要があるようです。
まだ日本語には対応していませんが、AWSの新しいサービスのリリースはとても早いので、東京リージョンで使えるようになるのもそう遠くはないはず。
SDK(Java、JavaScript、Python、CLI、NET、Ruby on Rails、PHP、Go、CPP) を使用すれば、iOS および Android などのモバイル向けの Amazon Lex ボットを開発できます。
AWS Mobile Hub を使用すれば、モバイルプラットフォーム用ボットの構築、テスト、およびモニタリングができ、Amazon Lex ボットをテンプレートから自動的に構築できます。
ぜひお試しください。
公式サイトリンクはこちら
Amazon Fraud Detector がAWS re:Invent 2019で発表されました！
この記事は株式会社ナレッジコミュニケーションが運営するAmazon AI by ナレコム Advent Calendar 2019の13日目にあたる記事になります。
はじめに
AWS re:Invent 2019にてオンライン詐欺を検出するサービスが発表されたのでまとめていきたいと思います。
Amazon Fraud Detectorは、Amazon Fraud Detectorはフルマネージドサービスで、オンライン支払い詐欺や偽のアカウントの作成など、潜在的に不正なオンラインアクティビティを簡単に特定できます。機械学習（ML）とAWSおよびAmazon.comの20年にわたる不正検出の専門知識を使用して、不正行為の可能性を自動的に特定し、より多くの不正行為を迅速に発見できるようにします。Amazon Fraud Detectorを使用すると、不正な検出のすべてを機械学習（ML）で処理するため、数回クリックするだけで、機械学習（ML）の経験がなくとも不正検出モデルを簡単に作成することができます。
2019/12/06 現在はプレビューの為、米国東部（バージニア北部）リージョンでのみ利用可能です。
検出できるアクティビティ
- New account
正当な顧客アカウント登録とリスクの高い顧客アカウント登録を区別して、リスクに基づいて追加の手順またはチェックを選択的に導入できるようにします。たとえば、顧客アカウント登録ワークフローを設定して、リスクの高い特性を示すアカウント登録に対してのみ追加の電子メールと電話の確認手順を要求できます
- Guest checkout
取引履歴のない顧客間でも潜在的な不正行為を検出します。通常、定期的に取引を行うお客様は、登録済みアカウントを使用します。その結果、取引の履歴があるため、潜在的な不正行為を簡単に特定できます。一方、ゲストチェックアウトには、過去のアカウント使用状況やユーザーの行動データがないため、不正行為の検出がはるかに困難になります。Amazon Fraud Detectorを使用すると、潜在的な不正リスクを評価するために、ゲストのチェックアウト注文からEメールとIPアドレスを送信することができるため、それを受け入れるか、確認するか、顧客の詳細を収集するかを決定できます。
- ‘Try Before You Buy’ service abuse
支払いを送信する前に調査のために衣類やアクセサリーを発送するファッションサービスなど、「購入する前に試してください」プログラムを悪用する可能性が高いアカウントを特定します。Amazon Fraud Detectorを使用すると、オンラインビジネスは顧客がサービス条件に違反するリスクを評価し、サービス条件に違反する状態で商品が盗まれたり返品されたりしないように、提供される商品またはサービスの価値に制限を設定できます。
- Online payment ※近日公開予定
支払いを処理して注文を履行する前に、疑わしいオンライン支払いトランザクションにフラグを立てることにより、オンライン支払い詐欺を減らします。Amazon Fraud Detectorを使用すると、チェックアウトフローを設定して、新しい注文を評価し、疑わしい注文にフラグを付けて、支払いを処理する前に確認して、クレジットカードのチャージバックを減らすことができます。
使い方
プレビューの為、申込みが必要となります。
以下、Amazon Fraud Detector 機能で公開されている使用方法になります。
- 5つのステップでAmazon Fraud Detectorの使用を開始する
価格
Amazon Fraud Detector 価格が公開されております。
※無料試用枠があります。
おわりに
現在プレビュー中の為、参考ドキュメント等少ないですがアップデートがあればご紹介したいと思います。
関連URL
Media2Cloud 2.0 now live 和訳してみた
はじめに
2019年12月11日に Jack Wenzinger 氏が掲載された「[Updated 11-December] Media2Cloud 2.0 now live: Increased control, SageMaker Ground Truth integration, and more partner support」を和訳し、まとめました。
本記事は下記リンク参照。
MEDIA2CLOUD VERSION 2.0 RELEASED
MEDIA2CLOUD
Media2Cloud は、ビデオコンテンツ管理に必要なデータや画像の確立、そしてクラウド移行のためのワークフローの設定サポートを行うサービスです。コンテンツの取り込み・保存・処理・配信・管理などを、クラウド上で簡単に行うことができます。
Media2Cloud はビデオコンテンツを取り組むために必要な項目を網羅したサービスとなっており、以下の特徴があります。
■ Media2Cloud の特徴
- フレームワークに AWS Machine Learning でビデオ資産のベースラインメタデータを増強するトリガーを含む
- ビデオアセットには、以下の3つの AWS サービスを利用
- 物体検知や顔認識には Amazon Rekognition
- 音声テキストの作成には Amazon Transcribe
- コンテキストメタデータの作成には Amazon Comprehend
Media2Cloud はとてもエラスティックなサービスであるため、同じ要件であれば、同じワークフローを使用して日々の運用とアーカイブの移行をサポートすることができます。そのため、異なるワークフローを作り、キャパシティの対応をする必要がありません。
WHAT’S NEW
そして、この度 Media2Cloud 2.0 が正式にリリースされました。これによりユーザはより簡単に、そしてより迅速にワークフローを AWS に取り込めるようになりました.
Media2Cloud に関する新たな追加情報は以下となります。
- 使用する機械学習サービスと、ソースコンテンツに含まれる言語の選択するための構成パネルをサポート
- 用途に合わせた的確なサービスを選択可能
- Amazon Rekognition の構成には不適切なビデオ検出機能を追加
- SageMaker GroundTruth を追加し、カスタムフェイスキュレーショントレーニングをサポートするクラウドソーシングツールが提供可能
まとめ
アップデート情報は以上となります。
名前の通り、メディア関連に特化した新サービスとなっておりますので、メディア業界で AWS の利用を考えている方は、この機会に是非こちらのサービスを利用してみては如何でしょうか。
Amazon Rekognition Custom Labels でアーモンドとピーナッツの判別モデルを作ってみた。
はじめに
今回は AWSの 画像、動画分析サービスである Amazon Rekognition の Custom Labels 利用が開始となったため、アーモンドとピーナッツが判別できるか、検証いたします。
Amazon Rekognition Custom Labels とは
Amazon Rekognition とは AWS の提供する 画像、動画分析サービスです。シーン検出や顔認識、テキスト認識や動線検出など多くのAPI が存在します。
今回この Rekognition が Custom Labels に対応しました。
今までは AWS の用意した学習済みモデルを利用した物体検出しか利用できませんでしたが、自前で用意した画像で画像検出モデルを作成し、利用できるようになりました。
今回の目的
Amazon Rekognition Custom Labels で、ちょうど家にあったピーナッツとアーモンドの判別モデルを作ってみます。
今回はデータ準備、ラベリング、モデル作成、推論API利用までやってみます。
データ準備
今回は画像をピーナッツとアーモンドでそれぞれ21枚ずつ用意しました。
画像はこんな感じ。
データの準備は完了です。
早速 AWS コンソールから、ラベリングに進みましょう。
ラベリング
作成したデータのラベリングは、AWSのコンソール上で行います。
現在(2019年12月10日時点)は、Amazon Rekognition Custom Labels は以下のリージョンでのみ利用可能です。
- バージニア北部
- オハイオ
- オレゴン
- アイルランド
AWS コンソール上でリージョンを変更してから以降の手順を行ってください。
まず、AWS コンソールから Amazon Rekognition を開きます。
次に、サイドバー上部から Use Custom Labels を開きます。
※2019年12月10日時点では、表示言語を日本語にしていると、Custom Labels の項目が表示されません。
左下の言語欄から英語を選択し、次に進んでください。
Get Started をクリックします。
作成するデータセットや、モデルの保存先 S3 を作成します。
Create S3 bucket をクリックします。
次にプロジェクトを作成します。
任意のプロジェクト名を入力し、Create project をクリックします。
プロジェクトを作成したら、データセットを作成します。
Create datasetをクリックします。
任意のデータセット名を入力します。
データのアップロード方法を選択します。
今回はローカルからアップロードを選択します。
画像をアップロードします。
下にスクロールし、Add images をクリックします。
以下のように表示されるので画像を、Drag＆Drops します。
※この時画像は一度に30枚までしかアップロードできません。分けて、アップロードしましょう。
画像を Drag＆Drops したら、Add images をクリックします。
画像をアップロードしたら、画像に割り当てるラベルを登録します。
Filter by labels の Add をクリックします。
ラベルを追加し、Save をクリックします。
私の場合は、almond と peanuts を追加しました。
ラベリングしたい画像を選択して、Draw Bounding Box をクリックします。
ラベリングを行います。
- まず、右側の Labels から対象のラベルを選択します。
- 次に、画像の対象物を Box で囲みます。
- 囲んだら、右上のNextをクリックします。
- 全ての画像に対してラベリングができたら右上の Done をクリックします。
ラベリングが終わったら、右上の Save changes をクリックしてください。
モデル作成
データセットのラベリングが完了したら、ついにモデルトレーニングです。
Train model をクリックします。
各項目を設定します。
- Choose project : 最初に作成したプロジェクトを選択します。
- Choose training set : 作成したデータセットを選択します。
- Create test set : テストデータの作成方法を選択します。今回は、学習データの中から20%を自動でテストデータとして抽出する Split training dataset を選択します。
全て設定したら、右下の Train をクリックします。
これでモデルトレーニングが始まります。
Status が TRAINING_COMPLETED になるまで待ちます。
学習画像32枚、テスト画像10枚で1時間弱ぐらいかかりました。
モデルトレーニングが完了しました。
ジョブ名をクリックして、トレーニングの詳細を見てみましょう。
モデルのスコアが載っています、精度90％、再現率80％となかなかいい感じですね。
推論 API の利用
実際に作成したモデルをデプロイして、推論してみましょう。
下にスクロールすると、モデルデプロイ、推論、デプロイ終了の API 利用コマンドがあるので順に実行してみましょう。
※古いバージョンの AWS CLI にはコマンドが存在しないため、以下から、AWS CLI のアップデート方法を確認し、実行してから次に進んでください。
https://docs.aws.amazon.com/ja_jp/cli/latest/userguide/install-cliv1.html#post-install-upgrade
まず、Start APIを実行すると、以下の様にレスポンスがあります。
実行後コンソールを確認してみると、対象のモデルステータスが STARTING となります。
Status が RUNNING になったのを確認したら、Detect API を実行しましょう。
推論に利用する画像は、あらかじめ S3 にアップロードしておきましょう。
今回は以下の画像を推論してみます。
Detect API を実行すると、以下のように推論結果が返されます。
実際に可視化するとこんな感じです。
うまく推論できているようです。
推論を終えたら、Stop API でデプロイしているモデルを停止します。
以下のようにレスポンスがあります。
コンソールを確認してみると既に Status が STOPPED になっていました。
おわりに
今回は Amazon Rekognition Custom Labels を検証しました。
画像を用意するだけで簡単に画像検出ができてしまい、感動しております。
今回はピーナッツとアーモンドの2種類でしたが、もう少し似通ったカシューナッツとか入れてもやってみたいと思います。
※料金は2019年12月10日現在、確認中です。わかり次第追記いたしますので、お待ちください。
AWS re:Invent 2019 - Keynote with Andy Jassy Amazon SageMaker サービスまとめ
はじめに
AWS re:Invent 2019 - Keynote with Andy Jassy 動画にて紹介されました Amazon SageMaker に関する新サービスの情報をまとめました。
■本動画のリンクはこちらから
AWS re:Invent 2019 - Keynote with Andy Jassy
Amazon SageMaker 関連のサービス紹介
本動画内で紹介された Amazon SageMaker 関連のサービスです。
- Amazon SageMaker Studio
- Amazon SageMaker Notebooks
- Amazon SageMaker Experiments
- Amazon SageMaker Debugger
- Amazon SageMaker Model Monitor
- Amazon SageMaker Autopilot
Amazon SageMaker Studio
- ウェブベースの IDE で完全に統合された ML サービス
- notebook、コード、データセットの管理・アクセス・サーチは全てこれ1つで完了
- 機械学習プロジェクト管理のフォルダも作成可能
- フォルダやうロジェクト、コンテンツの共有も可能
Amazon SageMaker Notebooks
- １クリックで notebook を立てることが可能
- インスタンスのプロビジョニングも不要
- CPUの増減も簡単に実行可能
- 新しいインスタンスに自動でnotebook のコンテンツのコピーや移動が可能
Amazon SageMaker Experiments
- 入力されたパラメータや構成、結果を自動的にキャプチャ
- リアルタイムの実験をブラウザリングやモニタリング可能
- 直近の実験を名前やパラメータで検索をかけることが可能
Amazon SageMaker Debugger
- 機械学習モデルのデバッグサービス
- 監視したいメトリクスを自動的に設定
- モデルのトレーニングパフォーマンスをリアルタイムで提供
Amazon SageMaker Model Monitor
- データを予測実行前後で違いが出てないかのチェックが可能
- 1クリックでモデルのモニタリングを実行
- SageMaker Studio でデータのビジュアル化が可能
Amazon SageMaker Autopilot
- 自動的にデータの変換が可能
- ベストなアルゴリズムを選択
- 50種類の異なるモデルでトレーニングを自動的に実行
- 50種類のモデルの結果を順位付けをして結果を出す
おわりに
AWS re:Invent 2019 - Keynote with Andy Jassy 動画にて紹介されました Amazon SageMaker に関する新サービスの情報は以上となります。本記事では紹介しませんでしたが、Amazon SageMaker 以外の新サービスや既存サービスのアップデート情報なども、本動画で紹介されております。そちらもぜひ、確認下さい。
Amazon Augmented AI(A2I) 機械学習/AI運用では避けられない有人確認業務をAWSが代替
はじめに
この記事は株式会社ナレッジコミュニケーションが運営する Amazon AI by ナレコム Advent Calendar 2019 の4日目にあたる記事になります。
概要
re:Invent2019 では多くの機械学習/AIに関する新サービスが発表されました。
機械学習/AIを運用する上で「ここが大変なんだよな」というポイントをサービスで埋めてくるものがピンポインで出てきた印象です。
そんな中でも本記事で紹介する Amazon Augmented AI (Amazon A2I) は非常に特徴的で強力なサービスです。
AIを運用する上での課題
例えば画像内にある記号を検出し判別するモデルを作り運用したと仮定します。
モデルが応答した際の値は数値として出るのですが実際に正しい結果だったかどうかはやはり人の目による目視確認が必要となってきます。
AIの技術を使って目視確認業務を減らしたはずが、AIの精度を確かめるための新たな目視確認業務が生まれるという状況です。
通常はモデルの応答値のモニタリングや一部結果を目視確認して精度を見るなどのワークフローが必要でした。
Amazon A2I による解決
Amazon A2I では AWS のサービスとして分析結果の目視確認と結果共有を行ってくれます。
これにより以下の図のように今までは人が介在することになってしまっていたフローもAWSの世界で完結ができます。
使い方
バージニア北部リージョン(N.Virginia)で利用することが可能です。
日本語では「拡張AI」という表記になっていますね。
ワークフローを選択し、Textracct、Rekognition、Custom の３種類のタスクのうち1つを選択することができます。
価格
価格はこちらでアナウンスがされております。
https://aws.amazon.com/jp/augmented-ai/pricing/
まとめ
今までは自動化のために機械学習/AI運用を行うための目視業務が発生することもあったのですが、こういったサービスを組み込むことで目視チェックもAWSのサービスの中に組み込めるというのはすごいこと感じています。
より一層、機械学習/AIが運用されていく世界観がAWSによって進んでいきそうですね！
参考リンク
re:Invent 2019 で発表された Amazon AI 関連のアップデート情報をマッピング
この記事は株式会社ナレッジコミュニケーションが運営する Amazon AI by ナレコム Advent Calendar 2019 の5日目にあたる記事になります。
はじめに
毎年11月下旬~12月上旬に開催されるAWSのカンファレンス re:Invent の中で、年々AI系のサービスのアップデートの数が増えてきています。
この記事では re:Invent2019 の中でAI/ML系のサービスのみに着目してAWSの成長を見ていければと思います。
昨年のre:Inventの発表と表の見方
去年も同様の記事を作成しております。
マッピングは以下の方針で行っています。
- 上方向 : ビジョナリーなサービス
- DeepRacerなどが代表的だと考えています
- 下方向 : すぐに実践投入が可能なもの
- 最新インスタンスタイプなど、すぐ変更や代替ができるもの
- 右方向 : マネージドですぐに利用ができるサービス
- Forecast などAPIで利用可能なもの
- 左方向 : インフラやハードウェアよりのもの
- EC2インスタンスやDeepLensなどのデバイス寄りの製品
なおサービスがGAされていない、東京リージョンでは提供されていないといったことは考慮していません。
これを見る限り昨年はAPI系のサービスの拡充並びにハードウェア系の領域のアップデートが多かった印象ですね。中にはDeepRacerといった、かなり攻めたものもあった印象です。
re:Innvent2019 のAmazon AI関連の情報のマッピング
SageMakerをプラットフォームの中心にAIの運用/最適化がよりマネージドな形でされていっている印象を受けますね！
ほぼSageMakerのアップデート祭りというのが今年のre:Inventだったのではないでしょうか。
マネージドサービス
- Amazon Braket (Preview)
- Amazon Transcrive Medical
- Amazon Transcribeの新しい認識機能
- 医療分野でのディクテーションサービス
- https://aws.amazon.com/about-aws/whats-new/2019/12/aws-announces-amazon-transcribe-medical-medical-speech-recognition/
プラットフォーム
- Amazon SageMaker Operator for Kubernetes
- Kubernetesのユーザが学習・チューニング等可能にするツール
- Amazon SageMaker Studio
- SageMakerベースのフルマネージド統合開発環境 (IDE)
- ノートブックのスナップショットへのリンクを共有可能
- https://aws.amazon.com/about-aws/whats-new/2019/12/introducing-amazon-sagemaker-studio-the-first-integrated-development-environment-ide-for-machine-learning/
- Amazon SageMaker Notebooks (Preview)
- 即時開始でき、共有可能なノートブック
- コラボレーション開発可能なフルマネージドNotebook
- Amazon SageMaker Processing
- Amazon SageMaker Processing ? フルマネージドなデータ加工とモデル評価
- https://aws.amazon.com/jp/blogs/news/amazon-sagemaker-processin-fully-managed-data-processing-and-model-evaluation/
- Amazon SageMaker Debugger
- Amazon SageMaker Model Monitor
- Amazon SageMaker Autopilot
- Amazon Fraud Detector
- 機械学習により、不正検出をリアムタイムに実行
- S3にトレーニングデータを入れ、自動的にモデル作成
- https://aws.amazon.com/jp/fraud-detector/
- Amazon CodeGuru
- 自動コードレビューとパフォーマンスプロファイリングのための機械学習サービス
- 問題特定のためのレコメンドの提供
- https://aws.amazon.com/jp/codeguru/
- Contact Lens for Amazon Connect
- Amazon Kendra (Preview)
- Amazon Augmented AI（A2I）
ハードウェア/インフラ
- DeepComposer
- https://aws.amazon.com/about-aws/whats-new/2019/12/introducing-aws-deepcomposer/
- 専用キーボードを利用し数秒でオリジナル曲を作曲可能
- サンプルコードやトレーニングデータがあり、コード記述不要でモデル構築可能
- 音源に対し、ポップ、ロック、ジャズなど編曲が可能
- ※マネージド寄りな気もしますが、、ハードがあるのでこちらに
- AWS DeepRacer の拡張機能
- コンソール上で仮想カメラにステレオカメラとLIDARセンサーを追加可能
- LIDARセンサーは連続スキャンレーザーを使用し、後続車両が高速で接近しているかどうかに関するデータを取得
- https://aws.amazon.com/about-aws/whats-new/2019/12/aws-deepracer-expands-participate-learn-win/
- Inf1 EC2 Instances
- AWS Inferentia チップを搭載した高パフォーマンスEC2インスタンス
- G4インスタンスの3倍のスループット、パフォーマンスベースで40%の費用削減
- マシンラーニング向きのインスタンス
- https://aws.amazon.com/about-aws/whats-new/2019/12/introducing-amazon-ec2-inf1-instances-high-performance-and-the-lowest-cost-machine-learning-inference-in-the-cloud/
まとめ
AIループやフライホイールデータといった構想がAmazon SageMakerを起点に一気に進めていきそうですね。
ますますこれらのサービスをどう使ってなにを実現していくかが、これからの時代の肝になっていきそうです。
マッピングについてはあくまで個人の感覚知なのでざくっとどんな傾向かだけでも把握してもらえれば嬉しいです！
【初心者でも使える】AWSが提供する文書解析サービス「Amazon Comprehend」が日本語対応したので触ってみた！
はじめに
Amazon Comprehendという機械学習のサービスの一つをご紹介致します！
プログラミングもいらず、機械学習の前提知識もいらない、直感的に自然言語処理ができます。
私JJも気軽に挑戦できますね！
Amazon Comprehendで何ができるの？
Entities(固有名詞抽出)
属性。データテーブルのようなものですね。
日付やイベント、特定の場所、企業や人、量やタイトル及びその他を抽出できます。
| タイプ | 説明 |
|---|---|
| 日付 | 曜日、月、時間 |
| 場所 | 国、都市、湖、建物 |
| 組織 | 政府、企業、宗教、チーム |
| 人 | 個人、グループ、人物 |
| 量 | 通貨、パーセンテージ、数値、バイトなどの定量化された量 |
| タイトル | 映画、書籍、歌、作品に付けられた公式名 |
Key phrases(キーワード抽出)
重要なフレーズとなる特徴的な名詞を抽出できます。会話のポイントだったり特徴的なキーフレーズであることを裏付ける信頼性スコア(フレーズの検出がアプリケーションにとって十分に高い信頼性を持っているかどうか)を出してくれます。以下Amazonの資料から。
Sentiment(感情分析)
４種類で表した感情の分析ができます。肯定的、否定的、中立的(感情の振れ幅が一定)、または混在。
たとえば、センチメント分析を使用して、ブログ投稿に対するコメントのセンチメントを判断し、
読者が投稿を気に入ったかどうかを判断できます。
実際に触ってみました
小説「そして、バトンは渡された/瀬尾まいこ」さんのAmazonのレビューを分析してみました。
Amazon Comprehendのページに行ったらReal-time analysisを左メニューから選択。
Input textにテキストを貼り付けてAnalyzeのボタンを押すだけ。(本当に何も難しいことがない、、、！)
Entities
赤線が引かれ、数値というよりはタイトルになりそうな言葉が抽出されています。
Key phrases
こちらでは青線が引かれ、感情や叙情的フレーズ、特徴的な動詞が抽出されています。
エンティティよりキーフレーズの方が抽出量も多いです。
Sentiment
個人的に一番気になっていたセンチメントも98%肯定的でポジティブなレビューであるという分析結果！
マイナスな文章はどうなる？
しっかり辛口なレビューであることがわかりますね。「幸せな」あたりから微量なポジティブを抽出しているのでしょうか。
「期待しすぎた」「捻くれている」
こんな細かな混在した気持ちも分析してくれています。想像以上です。
企業公式アカウントのTwitterでSHARP株式会社「シャープさん（@SHARP_JP）」が「炊飯器発売のお知らせ」で呟いた友永構文のシュールなツイートも分析してもらいました。(個人的な興味で)
感情が深すぎます。
価格
Amazonお馴染みの従量課金制です。初回一年は無料枠が使えます。
エンティティ認識、感情分析、構文解析、キーフレーズ抽出、言語検出のリクエストは
100 文字で 1 ユニットとして計算され、各リクエストにつき 3 ユニット (300 文字) が
最低料金となります。こちらもAmazonの料金説明から抜粋しています。
最後に
ここまで抽出や分析ができると、テキストから最善の回答を得る、トピック別にドキュメントを整理する
独自のデータでのモデルのトレーニング、業界に特化したテキストのサポートが簡単に実現できそうですね！
例えば、顧客が満足か不満足かに関して頻繁にコメントのある製品について
その特徴を特定することができます。
製品レビュー、ソーシャルメディアフィード、ニュース記事、ドキュメント、その他のソースからテキスト内の意味や関連性も検出できるのでこれから沢山活用できそうです！
公式サイトリンク
https://aws.amazon.com/jp/comprehend/
