Amazon Lookout for Visionで異常検出 その１

はじめに

Amazon AI by ナレコム アドベントカレンダー 2020の13日目の記事です。
Amazon Lookout for Visionは、画像から欠陥のある製品を検出する新しいMLサービスになります。
早速使ってみましょう！

導入

1．MVTEC ANOMALY DETECTION DATASETを用います。Capsule (385 MB)をダウンロードしてください。

2．AWS Consoleを開き、「Amazon Lookout for Vision」を検索し、開始方法をクリックします。
image.png

3．初回セットアップでは、S3にバケットを作成します。
image.png

4．ダッシュボードを開いたら、プロジェクトを作成します。
image.png

5．プロジェクト名を適当に入力し、プロジェクトを作成します。
image.png

6．まずは、データセットを作成しましょう。
image.png

7．「1つのデータセットを作成する」を選択、
image.png

8．「コンピュータからイメージをアップロードする」を選択し、データセットを作成します。
image.png

9．イメージを追加します。最低でも10枚の異常イメージと、20枚の正常イメージが必要みたいです。
image.png

10．30個まで一度にアップロードできます。
image.png

11．画像を確認したらアップロードしましょう。capsule\train\goodから欠陥のない画像を30枚アップロードしました。
image.png

12．アップロードしたら、ラベルを追加します。
image.png

13．画像を選んで、Normal（正常）かAnomaly（異常）に分類します。30枚はすべて正常に分類します。
image.png

14．右上のアクションからトレーニングデータセットにイメージを追加していきます。
image.png

15．capsule\test\scratchフォルダから欠陥のある画像を11枚アップロードしました。
image.png

16．11枚を異常に分類します。
image.png

17．30枚の正常な画像と11枚の異常な画像のトレーニングデータが集まったので、モデルをトレーニングします。
image.png

18．モデルをトレーニングします。
image.png

19．確認事項が表示されますが、モデルをトレーニングします。
image.png

20．トレーニングが進行しています。
image.png

21．40分ほどでトレーニングが完了しました。スコアは90.9%となっています。
image.png

22．約半数（21枚）テストされ、11枚正常と予測したもののうち1枚が不正解、10枚異常として予測したもののうち1枚が不正解となりました。
image.png
image.png image.png image.png image.png

23．トライアル検出では、作ったモデルのテストを行うことができます。
image.png

24．タスク名を入力し、「モデル１」を選択、「コンピュータからイメージをアップロードする」を選択、
image.png

25．「異常を検出」をクリックします。
image.png

26．確認事項が表示されるので、「トライアル検出を実行」をクリックします。
image.png

27．30個まで画像をアップロードします。capsule\test\crackから10枚アップロードしました。すべて異常となる必要があります。（crackは学習していないため期待はできません。）
image.png

28．8割異常と予測されました。なかなか優秀ではないでしょうか。
image.png
image.png image.png
image.png image.png

29．「マシン予測を検証」から結果が正しいか誤りかを教えてあげましょう。今回はすべて異常でないといけません。
image.png

30．検証済みイメージをデータセットに追加します。
image.png

31．データセットに移動したら、検証済みイメージが追加されているので、再学習することができます。
image.png

まとめ

Amazon Lookout for Visionを用いて、カプセルの欠陥検出を行いました。このサービスを利用することで、簡単に学習・評価・改善のサイクルをまわせますね。
作ったモデルは、AWS SDKまたはCLIから使えるようです。これはまた次回ご紹介したいと思います。
お疲れ様でした。

参考

by admin

【導入事例を大紹介！】ナレッジコミュニケーションのdatabricks導入支援について

はじめに

d4474-22-282332-0.png
ナレッジコミュニケーションではdatabricksのソリューションパートナーとして、
これまで数多くのお客様に導入支援を実施させていただきました。
今回は代表的な導入事例や導入に伴う費用感についてご紹介させていただきます。

 

databricksとは？

databricks とはdatabricks社が開発したApache Spark をベースにした統合データ分析プラットフォームです。
米国ではデータ活用のプラットフォームとして databricks が第一の選択肢に上がるようになっており、Gartner社が選ぶデータサイエンスおよび機械学習プラットフォームの2020マジッククアドラントでリーダーに位置しています。
主な特徴として以下が挙げられます。
・クイックにデータ統合・分析環境の立ち上げが可能
・自動スケール、自動停止が可能
・複数のデータサイエンティストの生産性向上が見込める

 

 

トヨタ情報システム愛知様との事例

d4474-11-747650-1.png
テラバイト級のデータに対する処理機構としてdatabricksをご採用いただき、
30倍の処理速度向上と8割以上の運用コスト圧縮を実現しました。
【参考URL】
https://prtimes.jp/main/html/rd/p/000000011.000004474.html

 

 

電通デジタル様との事例

20201204.jpg
データサイエンティストチームの分析環境の統合基盤として databricks を採用していただきました。
分析の知見を社内で共有することが可能となり、顧客からの分析オーダーに対して導入前の2倍以上の速度でアウトプットが出来るようになりました。
【参考URL】
https://prtimes.jp/main/html/rd/p/000000023.000004474.html

 

 

某教育業界のお客様との事例

取り扱いに注意が必要なデータを扱う分析環境の導入をパブリッククラウドのアーキテクチャ設計も含めてご支援しました。
AWS、Azure といったクラウドと同様の第三者認証セキュリティを持つ databricks を採用することで、セキュアでありながらビッグデータ分析にも対応した分析環境を実装しました。

 

ナレッジコミュニケーションでの導入支援プラン

2021-02-26_09h50_56.png

ナレッジコミュニケーションではdatabricks の導入から、その後の運用までご支援可能です。
以下のホームページからお問い合わせが可能でございますので、ぜひご検討くださいませ。
【お問い合わせHP】
https://www.knowledgecommunication.jp/product/databricks.html

 

 

参考ランニングコスト

databricks のランニングコストは状況によってまちまちですが、
参考までに過去の利用ケースを基に、月額費用例を算出させていただきます。

■稼働状況
・データサイエンティスト4人が業務時間中フル稼働で利用​
・1人あたり1ヶ月約230時間分の仮想マシンを稼働
■分析対象データ
・60GB (契約データ、WEBマーケデータ、契約情報などのCRMデータ)​

2021-02-25_20h00_41.png

終わりに

近年データ分析を実施する際に
データの増大による処理時間の遅延や
エンジニア同士の共同作業の難しさから発生するタイムロス
が発生するケースが増えてきております。

もしお客様が上記のような問題を抱えているなら、
databricks の導入はその高性能処理能力や複数人での使いやすさから非常に有効なソリューションとなりうるのではないでしょうか。
ぜひ導入をご検討くださいませ。

by admin

Amazon Monitronがすごいので紹介してみる

はじめに

製造業で働いていると、機器トラブルで休みの日にも関わらず仕事に呼びだされる、、、
そんなことがこれまであったのではないでしょうか？
Amazon Monitronは機械学習（ML）を使用して産業機械の異常な動作を検出するサービスで、予知保全によって計画外のダウンタイムを削減することができます。
what-is-alarm.png
※異常検知時の画面サンプル

活用フロー

2020-12-25_11h21_22.png
1.モーター、ギアボックス、ファン、ポンプなどの回転機器にワイヤレスAmazon Monitron Sensorsを取り付け、振動と温度を測定

2.センサーデータは、Amazon MonitronGatewayを使用して自動的かつ安全にAWSに転送

3.センサーデータは、機械学習（ML）を使用して自動的に分析され、メンテナンスが必要な可能性のある異常な機器を検出

4.異常が検出されたときにモバイルアプリから端末にプッシュ通知を送信

利点

  • 従来のセンサーに比べてハードウェアへの先行投資額が少ない
  • 取得データから自動で分析できるため開発作業やMLの知識が必要ない
  • 故障前に異常を検知できる
  • 保存中および転送中のセンサーデータを暗号化することでセキュリティ強化できる
  • モバイルアプリを操作することで継続的なモデル改善ができる

センサーの取り付け対象機器

2020-12-25_11h36_15.png
上記の機器などからセンサーデータを入手できます。

センサーの取り付けについて

  • 温度と振動を効果的に測定できる全ての場所に取り付けてください（1機器あたり最大20個取り付け可能）
  • センサーを機器のハウジングに直接取り付けてください
  • センサーは3年周期で取り替えてください
  • 板金カバーなど、固有振動数により振動する可能性のある場所にセンサーを取り付けないでください
  • センサーを取り付けるには、工業用接着剤をご使用ください
  • 接触領域が少なくとも30 x 25mmである必要があります

初期費用

2020-12-25_11h52_05.png
サービス利用開始にあたりAmazon Monitron SensorsとAmazon Monitron Gatewayを購入していただく必要があります。

項目 価格
Amazon Monitron Sensors（5個入り） 575USD
Amazon Monitron Gateway（単品） 140USD

それぞれの料金は上記の通りです。

項目 価格
Amazon Monitronスターターキット 715USD

またお得なAmazon Monitronスターターキットもご用意されています。
（取り付けキット、5 個のセンサー、ゲートウェイのセット）

運用費用

Amazon Monitronはセンサー1つあたり年間50USDのランニングコストがかかります。

費用例

■要件
5つのモーターを監視する必要がある。
上記を実現するためにAmazon Monitronスターターキットを購入し、
モーターごとに1つのセンサーを取り付け3年間使用した。
■試算結果
スターターキット購入費用（715USD）＋　センサー年間利用費用×5（250USD）×3年分　＝　1465USD（3年間利用費用）

おわりに

これまで製造現場でIoTによる異常検知を導入する際には以下のボトルネックがあったかと思います。

  • センサーの取り付け費用が高く、費用対効果が見込めない
  • センサーからどんなデータが実際に取得できるかわからない
  • データからAIモデルを作成するノウハウがない
  • 頻繁に故障するわけではないので異常値のデータが少ない

Amazon Monitronは安価に導入ができ、分析も自動でしてくれるので、上記のような問題の有効な解決策になりそうです。
ぜひ導入をご検討ください！
※現状Amazon Monitronはバージニアリージョンにしか対応していません。

by admin

【AI入門】Amazon SageMaker Data Wranglerを使ってみた

はじめに

今回は、Amazon SageMaker Studio の追加機能の一つの可視化サービス、SageMaker Data Wrangler を触ってみようと思います。

  • データのインポート
  • データフローの作成
  • データの可視化、前処理、追加、結合などを行う
  • 作成したデータフローのエクスポート

の流れで SageMaker Data Wrangler を使っていきます。
SageMaker Data Wrangler を使いこなして、Amazon Sagemaker Studio をもっと便利に使えるようにしてみましょう！

SageMaker Data Wrangler の概要

AWS の各種サービスからデータをインポートし、データの可視化（リアルタイムで！）や変換の処理を GUI 上で行えるサービスです。
実際に行った処理をノートブックとしてエクスポートすることもできるので手元で処理して可視化して、処理して可視化して、、、という縦長ノートブックとのにらめっこからオサラバできそうですね。
名前が似ている AWS Data Wrangler というオープンソースの Python ライブラリがありますが、こちらとは別物のようです。
今回紹介されている Amazon SageMaker Data Wrangler はあくまでも SageMaker Studio の追加機能、という位置づけのようです。

SageMaker Data Wrangler の機能

SageMaker Data Wrangler は SageMaker Studio の追加機能であり、

  • ETL 処理をグラフィカルに記述する flow ファイルの作成
  • インポートするデータの選択
  • データの変換および分析の記述
  • 記述した処理をエクスポート

という流れで ETL 処理をサポートする機能であるといえます。

実際に触ってみる

今回は kaggle にある COVID-19 Dataset を用いて実際に Data Wrangler を使ってみました。
まずは Amazon SageMaker Studio に入ります。
2020-12-03_16h02_38.png

データのインポート

Data Wrangler を使うには最初に flow ファイルを作成します。最初のランチャー画面にある「New data flow」の＋ボタンをクリックするか、画面上部の「File」→「New」→「Flow」としてファイルを作成します。
図1.png

図2.png

flow ファイルを作成すると「untitled.flow」というデータが生成されます。（名前の変更もできます。）インポートできるデータソースとしては Amazon S3 と Amazon Athena が選択できます。「Add data source」をクリックしてみると Redshift が選択できるようになっていました。

2020-12-03_16h15_16.png

flow ファイルには4種類のタブがあり、それぞれ

  • Import　→　データのインポート設定を行う
  • Prepare　→　グラフィカルにデータ変換・分析のフローを記述する
  • Analyze　→　分析結果の表示
  • Export　→　エクスポートするコンポーネントを選択し、エクスポートする

ということが行えます。
S3 に事前にアップロードしておいたファイルをインポートしていきます。「Amazon S3」を選択すると、バケット選択画面になります。

図3.png

バケットを選択して、アップロードするファイルを選択します。S3 からのアップロードは CSV または Parquet が対応しています。

図4.png

ファイルを選択すると画面下部にプレビュー画面が表示されます。拡張子がついていないファイルは画面右の「File Type」から CSV か Parquet を選択する必要があります。「Enable sampling」が有効になっている場合、インポートされるファイルが最大100MBに制限されます。設定が終わったら「Import dataset」をクリックします。

image01.png

データフローの作成

インポートが完了すると、Prepare タブに遷移し、今回作成するデータフローがグラフィカルに表示されます。
image02.png

Data Wrangler はインポートされたデータのデータ型を自動で推測し、データフレームを作成します。表示されている「Data types」というコンポーネントが自動生成されるデータフレームになります。
生成されるコンポーネントはドラッグすることで動かすこともできます。

image03.png

「Data types」の横にある＋ボタンをクリックすると後続の処理を追加できます。

image04.png

後続処理として追加できるコンポーネントには次のものがあります。

edit-data-types

データインポート時に自動生成されたデータフレームの各カラムのデータ型の変更が行えます。「Type」のプルダウンから選択できます。
変更する型を指定したら「Preview」で変更後のデータフレームが表示され、よければ「Apply」します。

スクリーンショット 2020-12-04 9.50.37.png

add-transform

読み込み時にデータフレームの変換処理を記述します。

image05.png

変換できる処理は次のようになっています。

  • Custom Transform

Python(Pandas, Pyspark)または SQL(Spark SQL) で変換処理を記述します。

  • Custom formula

新しいカラムを Spark SQL でクエリ書いて追加します。

  • Encode categorical

カテゴリのカラムをプルダウンで指定して One-hot encode または Ordinal encode します。欠損値の処理も Skip, Error, Keep, Replace with NaN から選択することができます。

  • Featurize date/time

date/time の型のデータを数値やベクトル表現に変換できます。

  • Featurize text

自然言語のカラムを Character statistics, vector に変換できます。Character statistics には単語数や文字数などがあり、新しい出力カラムが生成されます。

  • Format string

文字列のフォーマット（大文字、小文字、右寄せ、左寄せなど）を指定して変換してくれます。

  • Handle missing

欠損値の処理を指定します。変換の方法を impute, drop missing などから指定してそれぞれの方法に対して詳細な設定ができます。（impute ならカラムの型がなんであり、中央値か平均を代入する、など）

  • Handle outliers

外れ値の処理をかけます。標準偏差や quantile などを指定してどのように処理するか設定します。

  • Manage columns

カラムの移動、削除、複製、リネームなどを行います。

  • Manage rows

ソートやシャッフルをすることができます。

  • Manage vectors

数値データ列とベクトル列を Assemble や Flatten で処理できます。

  • Parse column as type

データ型を指定してキャストします。

  • Process numeric

標準化を行ったりロバストスケーラーや最大値最小値の範囲でスケーリングします。処理には Spark が使われているようです。

  • Search and edit

データの検索と、検索した値の編集ができます。置換や区切り文字で分割もできます。

  • Validate string

カラムに対して条件を指定して True または False で表現されるカラムを生成します。
追加した変換処理を Apply するとコンポーネントが追加されます。

image06.png

add-analysis

変換処理などを行ったデータを可視化できます。「Configure」タブではヒストグラムや散布図などを指定して表示させることができます。「Code」タブでは Pandas で記述できます。「Create」ボタンで描画した図を保存することができます。

image07.png

保存された図は flow ファイルの「Analyze」タブに保存されています。この画面からも「Create new analysis」から新しい図を描画できます。

image09.png

join

２つのデータセットの結合が行えます。データセットが複数必要になるには「Import」タブから最初にデータをインポートした時と同じ手順で実施します。
「Join」をクリックしたデータフレームが左側として指定されます。

image10.png

右側にのデータフレームを指定すると結合後のフローが現れるので「Configure」すると、

image11.png

プレビュー画面が表示され、どのように結合を行うのかを指定します。設定したら「Apply」して「Add」します。

image12.png

生成したデータフレームがコンポーネントとして追加されました。

image13.png

concatenate

データの連結を行えます。手順としては Join の操作に準じています。

image14.png

指定したら「Apply」して「Add」します。

image15.png

データフローのエクスポート

作成したデータフローをエクスポートします。まず「Export」タブに移動します。エクスポートしたいコンポーネントをクリックして「Export step」をクリックします。
image16.png

エクスポートの方法は現在４種類用意されています。

  • Data Wrangler Job
  • Pipeline
  • Python Code
  • Feature Store

Python Code では.py の拡張子を持つファイルとして生成されます。他の３つは SageMaker に統合されたノーブック形式でエクスポートします。
違いとしては、

  • Data Wrangler Job

作成したデータフローを丸ごとコード化

  • Pipeline

作成したデータフローのコード + Pipeline という機能への統合するためのコードが追記

  • Feature Store

作成したデータフローのコード + Feature Store という機能へ統合するためのコードが追記されます。とりあえず Data Wrangler Job としてエクスポートしてみます。

image17.png

無事エクスポートできました！

image18.png

おわりに

データの様々な前処理が GUI 上でできるのは本当に便利だと思います。今後はこの機能を使い倒していきたいと思います。他にも機械学習が便利になるサービスがあったら紹介していきたいと思います！

by admin

12/04（金）デジタル活用で経営革新を目指す！～事例から紐解く、人工知能(AI)と機械学習（ML）との向き合い方～

セミナー内容

各業界においてデジタル変革(DX)がビジネス構造や競争の原理を変える時代となりました。
しかしながら、多くの企業では、実証実験までは進めているものの、実際にビジネス変革につながっていないというのが現状です。
本ウェビナーでは、機械学習やクラウドを活用したDXの成功例を事例を交えてご紹介します。

 

対象となるお客様

経営企画、経営戦略、イノベーション、情報システム（IT）やデジタル変革・推進部門を中心とした各事業部門の管理職の方。

 

日時/場所/費用

開催日時：12 月 4 日（金）15:00 ～ 17:15
開催場所：オンライン
参加費用：無料

 

参加方法

https://www.knowledgecommunication.jp/news/219.html
上記URLよりご参加登録をお願いいたします。
申し込み後にウェビナーのプラットフォーム「Gotowebinar」のシステムより、お申し込み完了メールが届きますのでご確認くださいませ。

 

アジェンダ

当日のアジェンダは以下の予定です。

オープニングセッション

アマゾン ウェブ サービス ジャパン株式会社​
パートナーアライアンス統括本部​
テクノロジーパートナー本部​
セグメントリード（機械学習・IoT）小澤 剛様

事例セッション１​

株式会社ABEJA​
代表取締役社長CEO 岡田 陽介様

【タイトル】
ABEJAのデジタルトランスフォーメーション ～ AI+HIが実現するプロセス革命 ～

【セッション内容】
COVID-19の影響から、あらゆる企業でDXの必要性が叫ばれ、業務のデジタル化が急速に進んでいます。
DXを単なるデジタル化で終わらせないために鍵となるのがAIですが、肝心なAI活用については多くの企業がPoC止まりなのが実情です。
私達ABEJAは顧客のAIの本番運用、AI活用の内製化を前提とした支援を行っています。
そのために鍵となるのは、人とAIを融合させたオペレーション構築だと考えています。
この講演では、これからのDXのあり方とともに、人とAIを融合したAIの運用方法について解説します。
​

事例セッション2

​ブレインズテクノロジー株式会社​
取締役/業務執行責任者 榎並 利晃様​

【タイトル】
ここまできている！現場のDXを加速させる最新AI/ML活用事例

【セッション内容】
本セッションでは、製造業・建設業・ITのお客様を中心に、100社、12,000を超える機械学習モデル運用を支える「Impulse」を介して見えてきた、お客さまのAI／MLに対するニーズの変化及び活用事例と自社でデータ分析から機械学習の運用（MLOps）まで実施する上での課題とソリューションについてご紹介いたします。

事例セッション3​

合同会社 dotData Japan​
主席データサイエンティスト 博士（工学）
​山本 康高様​

【タイトル】
BI&AIの融合でデータドリブン型DXを実現するdotDataのテクノロジー

【セッション内容】
dotDataは、独自のAI技術を活用し、機械学習にとどまらずその前段となる特徴量設計をも自動化する、データサイエンス自動化プラットフォームを世界で初めて開発しました。
dotDataがもたらす過去のデータからの洞察、未来への予見といったインテリジェンスは、AIがデータドリブンで与えてくれる意思決定の材料となります。
デジタルトランスフォーメーションにおいても、AIによるデータドリブン型の業務／経営判断は核となる一方、AIの業務適用を成功させるためのプロセスが確立されておらず、現在の業務からの急激な切り替えが難しいという意見が多くあります。
本セッションでは、現在の業務で使われている「BIによる可視化」をdotDataによるインテリジェンスで拡張・拡大し、DXの第一歩を踏み出すためのステップを事例やデモを交えてご説明します。

事例セッション4​

株式会社ナレッジコミュニケーション
​代表取締役 奥沢 明​

【タイトル】
デジタルトランスフォーメーションを推進する企業のAI活用方法とは？

【セッション内容】
民間企業においてもDXによる合理化や新たな価値の創造は、企業が存続するために避けられない課題となりつつあります。
PoC、単発で終わらせないデジタル変革を推進するための環境づくりからデータ活用法まで、変化が大きい世の中でビジネスで使うAI/MLのススメ方についてご紹介します。

 

 

 

株式会社ナレッジコミュニケーションについてのご紹介

ナレッジコミュニケーションではAmazon Web Services、Microsoft Azure等のクラウドサービスを企業に導入する事業を行っております。
お客様の課題に対してクラウドを使って課題解決のご支援をさせていただいております。

実績掲載

1.ブックリスタ様　事例

https://aws.amazon.com/jp/solutions/case-studies/booklista-knowledgecommunication/

2.全国保証様　事例

https://prtimes.jp/main/html/rd/p/000000014.000004474.html

by admin

11/12（木）ビジネスパーソンにAI活用を。ナレコムAI使い方セミナー

セミナー内容

withコロナでDXの推進が急務になっている中、データをうまく使った新しい価値提供や、生産性向上のための取り組みを多くの企業が課題としております。
その中でも成功している企業では、「できることから小さくはじめる」、「トライ&エラー、PoCを繰り返し実施」、「体制、プロジェクト人選」等の工夫を行っております。

今回のセミナーでは上記の背景があるなか、専門スキルを必要とせずに数クリックで機械学習のモデルを自動的に構築/予測分析でき、クイックにビジネスに活用できるプラットフォーム「ナレコムAI」についてご紹介致します。

ナレコムAIが必要となる背景やユースケースについての解説のみならず、実際の画面を見ながらのデモンストレーションも実施させていただきます。

※ナレコムAIのWEBサイト: https://narekomu-ai.com/

対象となるお客様

  • 機械学習を自業務の活用を検討している方
  • データをお持ちで業務の効率化を模索している方
  • AIツールの導入を検討、調査されている方

本セミナーのゴール

  • ナレコムAIがどういったものかを知ることができます
  • ナレコムAIを使って、いますぐデータ分析を開始する

ナレコムAIとは？

AI（人工知能）・機械学習といった高度な技術を簡単に利用することが出来るクラウド型サービスです。
高いスキルを持った専門家なしには利用することが難しかった技術を、専門家不要で利用でき、データ分析の敷居を下げるためデータサイエンティストが担う 「機械学習のモデル構築・テスト・活用」をカバーするソリューションとなっております。
2020-11-05_11h25_29.png

アジェンダ

  • DX推進における課題と工夫している企業が取り組んでいること
  • ナレコムAIの概要紹介
  • ユースケース
  • デモ
  • QA

タイムテーブル(予定)

時間 内容
12時55分 受付開始
13時～ 開会のご挨拶
～13時15分 セミナー
～13時40分 デモ
～13時55分 QA
14時 閉会の挨拶

日時:2020年　11月12日(木)　13時~14時
場所:オンライン（Microsoft Teams）
参加費:無料

参加方法

当日のウェビナーはteamsを使用して開催します。 こちらよりお申し込みいただいた後に、登録完了メールがお手元に届きます。 そちらのメールに当日の参加用 URLが掲載されておりますので、ご確認をお願いします。

下記「プライバシーポリシー」をご確認・ご了承いただいた上で、お申し込みの際はお名前等のご記入をお願いします。 ご協力いただけない場合は当日参加をお断りさせていただく場合がございますので、予めご了承ください。
プライバシーポリシー / 個人情報の取り扱いについて

株式会社ナレッジコミュニケーションについてのご紹介

ナレッジコミュニケーションではAmazon Web Services、Microsoft Azure等のクラウドサービスを企業に導入する事業を行っております。
お客様の課題に対してクラウドを使って課題解決のご支援をさせていただいております。

実績掲載

1.ブックリスタ様　事例

https://aws.amazon.com/jp/solutions/case-studies/booklista-knowledgecommunication/

2.全国保証様　事例

https://prtimes.jp/main/html/rd/p/000000014.000004474.html

by admin

Databricks E2リリースで新しく追加された機能について

はじめに

2020年9月、AWS上で利用可能なdatabricksのプランに新しく E2 が追加されました。
この記事では、E2の機能について紹介していきます。

プランの概要

E2のプランにすることで、以下の機能が使えるようになります。

  • マルチワークスペースアカウント
  • 顧客管理VPC
  • 安全なクラスター接続
  • ノートブックの顧客管理キー

それぞれの機能について、見ていきます。

1. Multi-workspace accounts

アカウントAPIを使用し、単一のDatabricksアカウントで、複数の新しいDatabricksワークスペースをプログラムで作成することが可能です。作成する各ワークスペースには 異なる構成を設定できます。

2. Customer-managed VPCs

デフォルトでは、Databricksは各ワークスペースのAWSアカウントにVPCを作成しますが、E2の場合、この顧客管理VPC機能により独自のVPCにDatabricksワークスペースを作成することができます。

image.png

3. Secure cluster connectivity

すべてのノードがプライベートIPアドレスのみを持つクラスターを起動し、VPCに開いているポートがなくなることで、安全なクラスター接続が実現できます。

image.png

4. Customer-managed keys for notebooks

ワークスペースの作成中に、CMK（顧客管理キー）と呼ばれる取り消し可能な秘密鍵を追加することができます。CMKとDMK（データ暗号キー）を結合し、ワークスペースにDEK（派生暗号キー）を作成します。

image.png

価格について

11月4日現在では、公式ページでは価格オプションについて確認できませんでした。もしかすると現行のEnterpriseプランに含まれているかもしれませんので、今後確認でき次第追記していきます。

まとめ

これらの機能によって、より安全でスケーラブルに、AWS上でdatabricksプラットフォームを利用することができそうですね。

公式ドキュメント

by admin

AWS single sign-on(SSO)でdatabricksにログインしたい

はじめに

本記事ではdatabricks on AWSにAWS single sign-on(SSO)を使用してログインする方法をご紹介いたします。
AWS SSOは無料でかつ簡単な設定で即座に利用できるSSOサービスとなっており、
セキュリティの観点からもぜひとも利用しておきたい機能です。

前提条件

本記事内容はAWS SSOが有効になっているところからスタートします。
未完了の方は以下公式ドキュメントを参考に設定をお願いいたします。
https://docs.aws.amazon.com/ja_jp/singlesignon/index.html

目次

  1. AWS側の設定
  2. databricks側の設定
  3. いざlogin!

本題

1. AWS側の設定

AWS SSOのサービス画面内の左上「アプリケーション」をクリック
image.png

「新規アプリケーションの追加」をクリック
2020-10-20_10h38_09.png

ここでAWS SSO と連携するアプリケーションを選択します
画面中央の「アプリケーションの名前を入力します」の欄に"databricks"と記入
2020-10-20_10h39_49.png

databricksが表示されたらそれをクリック
画面右下の「アプリケーションの追加」をクリックして追加の完了です
2020-10-20_10h40_15.png

アプリケーションの画面に戻るとこのようにdatabricksが追加されていますので
クリックしてアプリケーション情報を確認しましょう
2020-10-20_10h52_40.png

databricks側に登録する情報をコピー、ダウンロードします
「AWS SSOサインインURL」「AWS SSO 発行者URL」をコピーし
「AWS SSO証明書」をダウンロードしておきます
2020-10-20_10h57_37.png

最後に、AWS SSOを使用してdatabricksにloginするユーザを割り当てます
「割り当て済みユーザ」タブ内の「ユーザの割り当て」から設定を行います
ユーザ個人を割り当てることもできますし、
databricksを使用するユーザが多数いる場合はグループを作成しておき、そのグループに割り当てるということも可能です
(この写真の例ではdatabricksという名前のグループに割り当てています)
2020-10-20_11h12_02.png

2. databricks側の設定

databricksのコンソール画面にloginします
右上の人の形のアイコンから「admin console」に移動します
2020-10-20_11h22_13.png

「Single Sign On」のタブをクリック

2020-10-20_13h40_03.png

以下表をもとにAWS側の設定でコピー、ダウンロードした情報を貼り付けていきます
2020-10-20_11h49_26.png

※2つのオプションについて(任意)

  • Allow auto user creation
    →databricksのアカウントを持っていないユーザがAWS SSOでログインしたときに自動的にアカウントを作成する
  • Allow IAM role entitlement auto sync
    →IAM credential passthroughのためのSAML属性からの資格情報を同期する
    (別途IAM credential passthroughの設定が必要なので本記事での説明は割愛します)

「Enable SSO」をクリックして
この画面になったらdatabricks側のSSOの設定が完了です
2020-10-20_13h41_28.png

3. いざlogin!

AWS Portalに入るとこのようにdatabricksアイコンが表示されているのでこのアイコンをクリックします
2020-10-20_12h01_35.png

無事loginできました！
2020-10-20_12h03_42.png

おわりに

今回はAWS SSOでdatabricksにログインする方法についてご紹介しました。
別記事で、databricks各種権限設定についてもご紹介する予定ですので、
そちらも併せてご覧いただければ幸いです。
最後までお読みいただきありがとうございました。

by admin

【Amazon Rekognition Video】すごいと噂の自動ビデオ分析サービス【活用法】

はじめに

Amazon Rekognition Videoとは、AWSの提供する機械学習を利用したビデオ分析サービスです。
Rekognition Videoを利用することで、動画中の数千のオブジェクトや顔、コンテンツを正確に検知し、追跡し、認識し、抽出し、節度を検出することができます。

今回はいくつかのデモを行い、Amazon Rekognition Videoがどのような活用が出来るか考えていきたいと思います。

※こちらの記事にて、デモの利用手順をご確認いただけます。
https://qiita.com/JJ33/items/848aaac7bc68a15c56af

本記事の概要

  • 動画データの分析を行い方や動画の編集を最適化したい方にお勧めなサービスになっております。
  • YouTubeにアップされている動画を使用し、3つの主な機能（次の項目に記載）が検出できるかデモを行います。
  • デモを行ったうえで、Amazon Rekognition Videoの活用方法を考察します

3つの主な機能

チーム:動画に登場する人物を識別、追跡
有名人:登場人物が有名人か判定
オブジェクトとアクティビティ:動画内にある人、モノ、シチュエーションまでを解析

料金体制

Amazon Rekognition Video には 2 種類の料金があるようです。

  • ビデオ分析：Amazon Rekognition Videoは、APIを使用し実行した分だけ料金が請求される従量課金制になります。複数APIを呼び出した場合は、個別に各APIに料金が発生します。
  • 顔のメタデータのストレージ：ストレージの保存に料金が発生します。ストレージ料金は月ごとに課金され、一ヶ月未満の料金は日割りで計算されます。

検出できるメタ情報

  • 物体（車両やペットなど）
  • シーン（都市やビーチ、結婚式など）
  • アクティビティ（小包の配達やダンスなど）
  • 有名人（有名人の名前と一意のID）
  • テキスト（英語テキストのみ）
  • 動作（ろうそくを吹く、火を消すなど）
  • 不適切なコンテンツ（ヌード、暴力、武器など）

各検索結果や検出にはタイムスタンプが付いているため、詳細なビデオ検索向けのインデックスをすぐに作成できるほか、さらなる分析のために興味のある箇所にすばやく移動することもできます。
また、対象がフレーム内のどの位置で検出されたのかを境界ボックスの座標で教えてくれます。

デモを試した結果

https://www.youtube.com/watch?v=L91yri_Vmbs
こちらの動画を借りてデモを使ってみました。
結果を一部掲載します。
（今回CelebritiesやModeration Labelsは検出されなかったためLabelsとPersonsのみ）

ケース１　ジェット機の前で写真を撮るシーン

2020-10-09_13h14_06.png
■Labels（Confidence 80以上のみ表示）
image.png
ジーンズやヘリコプターも認識できているようです！

■Persons
image.png
４人の人物を検知しています。

ケース２　女の子がドーナツを持っているシーン

2020-10-09_13h16_15.png
■Labelsimage.png
こちらのシーンではホットドッグを検出しています。
正確にはドーナツなのですが、食べ物の種類まで認識しているのはすごいですよね！

■Personsimage.png
先程のシーンと同じ女の子だとわかっているようです！

ケース３　ソファーで写真を撮るシーン

2020-10-09_15h34_03.png
■Labelsimage.png

室内で、シェルフなどの家具があることを認識しています。

■Personsimage.png
シーン１と同じ人物が２人いるとわかっているようです。

ケース４　家に荷物を運ぶシーン

2020-10-09_14h48_10.png

■Labelsimage.png
宅配をしているシーンであることも認識しています！これはすごい！

何に活用できそうか考えてみた

  • 不適切なシーンのカット、または警告表示
  • 検索機能を充実させる（タグ付けや顔検索）
  • 顔認証受付（施設の混雑防止や万引き防止につながる）
  • 人物トラッキングで犯人を捕まえる、行方不明者を捜す
  • 動画を投稿前に節度を検出し、不適切なシーンの公開を防ぐ
  • 検出できたメタデータを自動で組み合わせてハイライト動画の作成
  • 撮った動画を、カテゴリーや人物別で勝手にフォルダに分けるアプリ
  • SNS等で動画メディアを投稿する際、顔検索によって友達を自動でタグ付け
  • 小売業の分析（買い物客の行動、平均年齢層、性別分布、人々が表す感情を分析）
  • コンテンツ流動型広告（見ているコンテンツに見合う広告を選ぶ、良いタイミングで挟むなど）

さいごに

デモを試した結果、十分な精度で色々なメタ情報が得られました。（他の動画では自撮りをしているシーンやラーメンを作っているシーンも認識しました！）
アイデア次第で、顔認証受付やハイライト動画の作成など、様々な用途で活躍できそうだと思いました。今後の展開も楽しみですね。

参考リンク

Amazon Rekognition Video | AWS

https://aws.amazon.com

使用した動画リンク

AWS Curiosity Kid: Belonging

https://www.youtube.com

by admin

2020年度版初心者でも5分でわかる Amazon EC2について

はじめに

この記事では、AWSの代表的なサービス「Amazon EC2」について、以下をテーマに簡単な言葉でまとめていきます。

  1. EC2とは何か
  2. EC2のメリット
  3. EC2に関する用語
  4. 利用料金について

EC2とは

AWS上で仮想サーバを構築・利用できるサービス。
「Amazon Elastic Compute Cloud」の略称。

EC2のメリット

  • 従量課金制で低コスト
  • 最適なサーバーの作成がボタン１つで可能
  • スペックの変更が柔軟に行える
  • 簡単に冗長化を行える
  • 別サービスと組み合わせやすい

EC2に関する用語

インスタンス

AWS上の仮想サーバーのこと。
必要に応じて複数のインスタンスを立ち上げることで、柔軟なインフラ構築ができる。

AMI (Amazon Machine Image)

OSやソフトウェアの構成を記録したテンプレート。
AMIを使うことで同じ設定のサーバーをいくつも作成できる。
Amazon Linux、CentOS、Red Hat Enterprise Linuxなど。

キーペア

SSH接続において、ログインする際の認証に使用する公開鍵と秘密鍵のペア。
SSHとは、サーバーにインストールしたソフトウェアを操作するときに使用するしくみ。

EBS (Elastic Block Store)

EC2インスタンスと組み合わせて使うストレージボリューム。
ストレージとは、かんたんにいえばデータを記録する場所のこと。

セキュリティグループ

仮想的なファイアウォール機能。
EC2インスタンスへのアクセスを許可し、トラフィック（ネットワークを流れる情報）を制御する。

Elastic IPアドレス

静的な（固定の）グローバルIPアドレス。
EC2のインスタンスは、停止して起動しなおすとグローバルIPアドレスが変わってしまう→サーバーにアクセスできなくなる。
Elastic IPアドレスをインスタンスに結び付けることで、IPアドレスを固定することができる。

ELB(Elastic Load Balancing)

サーバーに集中するアクセスを、複数のサーバーやネットワークに振り分ける機能。

スナップショット

ある時点でのサーバーのディスク状態を保存する機能。
ソフトウェアやOSの更新時に、何かあったときにすぐ戻せるようにバックアップとしてとることが多い。

Auto Scaling

インスタンスの増減を自動で行う機能。
アクセスが少ないときは減らしてコストを削減。
多いときは増やしてアクセスに対応。

EC2の利用料金の考え方

AWSの料金は月に使った分だけ支払う「従量課金制」です。

①インスタンス使用料（稼働している時間×単価）＋②EBSの料金（容量×単価）＋③通信料金＋④その他のオプション

また、AWSにはアカウントを新規作成後12か月間有効な「無料利用枠」というものがあります。
使用できるリソースには制限がありますが、1か月に750時間無料でインスタンスを利用することが可能です。

無料利用枠で使用できるリソース
・インスタンスタイプは t2.micro
・OSは Amazon Linux 1,2、Windows Server、Red Hat Enterprise Linux、SUSE Linux、Ubuntu Server

無料利用枠について詳しく知りたい方はこちら。
https://dev.classmethod.jp/articles/overall-summary-about-aws-free-tier/

おわりに

現在AWSの勉強を始めたばかりですが、今回は代表的なサービスであるAmazon EC2についてまとめました。今後学習を進めていく中で、他のサービスについても調査してまとめていきたいです。

参考書籍/記事

by admin