スポットインスタンスを利用して、SageMakerのモデルトレーニングをしてみた

はじめに 今回は、AWS SageMaker によるモデルトレーニング時にスポットインスタンスが利用できるようになったので、実際に利用し、どれだけコスト削減できるか確認します。 ※注意※ 本稿は、実際のモデルトレーニング時にスポットインスタンスを利用する方法と、どれだけコスト削減できたかを紹介する記事です。 モデルトレーニング時のスポットインスタンス利用で何が変わるのか、何が利点なのかについては... 続きを読む

SageMakerのスポットインスタンスを利用したモデルトレーニングに関する制限緩和方法について

はじめに 2019年9月6日時点では、SageMaker スポットインスタンスを利用したモデルトレーニングに関する制限緩和項目がありません。 そのため今回は、SageMaker のスポットインスタンスを利用したモデルトレーニングに関する制限緩和の方法についてご紹介します。 スポットインスタンスを利用したモデルトレーニング時のインスタンス制限緩和 制限緩和には、リソースタイプとして「SageM... 続きを読む

スポットインスタンスを利用して、SageMaker でのモデル作成コストを最大90%削減する

はじめに 今回は2019年8月28日に発表された、AWS SageMaker によるモデルトレーニング時のスポットインスタンス利用についてご紹介いたします。 ※注意※ 本稿はモデルトレーニング時のスポットインスタンス利用についてご紹介する内容です。 実際にスポットインスタンスを利用する手順や利用した結果を見たい方は以下の記事をご覧ください。 スポットインスタンスを利用して、SageMakerのモ... 続きを読む

AWS SAM 構文を利用した CloudFormation による Lambda と API Gateway の作成

はじめに 今回は AWS SAM 構文を利用し、 Hello を返す API を作成しました。 AWS SAM 構文を利用すると、シンプルな設定のみでAPIを作成できます。 今回作成するシステムの構成図を以下に示します。 開発環境 ・AWS-CLI 1.16.158 ・Microsoft Windows 10 Home ※AWS CLI のインストールをしていない場合は、以下を参考にインス... 続きを読む

AWS Lambda と AWS SNS を利用して、AWS SageMaker で起動中のエンドポイントを携帯に通知する

はじめに 今回はAWS SageMaker で作成したエンドポイントの消し忘れ防止用に、エンドポイントが起動している場合、決まった時間に携帯へ通知するシステムを作成しました。 その内容を説明します。 構成図は以下の通りです。 Lambda 関数の作成 まず、AWS のコンソール上で lambda と検索しLambda を開きます。 左のサイドバーから関数を選択し、右上の関数の選択をクリッ... 続きを読む

S3 へのデータアップロードをトリガーにデータを推論し、推論結果を S3 に保存する AWS Lambda 関数の作成

はじめに 今回は S3 へのデータアップロードをトリガーに、アップロードされたデータを推論し、結果を S3 に保存する関数を作成しました。 その内容を記載します。 前提 SageMakerでデプロイできるモデルがある。 ※今回作成した Lambda 関数を使う際には、事前にモデルをデプロイしておく必要があります。 ※私は画像検出のモデルを使用します。 関数の作成/設定 まず、AWS のコ... 続きを読む

SageMakerの組み込みアルゴリズムで作成したモデルのデプロイと推論を、ローカルのJupyter notebookから実行

はじめに 今回はSageMakerの組み込みアルゴリズムで作成したモデルのデプロイ、推論をローカルのJupyter notebook から実行したので、その内容を掲載します。 ※今回私は ObjectDetection を利用したモデルで、デプロイ、推論を行います。 前提 S3 上に SageMaker の組み込みアルゴリズムで作成したモデルがある。 モデルのデプロイ まず、aws 上の... 続きを読む

SageMakerの組み込みアルゴリズムで作成し、保存したモデルを再デプロイする方法

はじめに 本稿では、SageMakerで作成し、ローカルに保存したモデル(model.tar.gz)をもう一度デプロイする方法を説明します。 ※今回私がデプロイするのは、犬の顔検出モデルです。 前提 既にSageMakerで作成したモデルをローカルに保存している。 実践 モデルのアップロード ・まず、S3でバケットを作成します。 バケット作成を選択。 ・任意のバケット名を付けて、作成... 続きを読む

Amazon Sagemakerでセキュリティに強い機械学習環境を構築する ③

はじめに 本連載の最終回として、特にセキュリティと運用上の信頼性に留意し、構成を再考、IAM設定を見直すことでセキュリティに強い機械学習環境の作成まで行います。 ゴール 前回、最小権限の原則に触れました。 Notebook上の操作でうっかりローデータを消してしまっては大変なので、推論結果の保存先とローデータの保存先を分けます。それらに紐づける形で、Notebookインスタンス、IAMエンテ... 続きを読む

Amazon Sagemakerでセキュリティに強い機械学習環境を構築する ②

はじめに / 本稿のゴール 強固なセキュリティに守られた機械学習環境を、クラウド上に構築するまでをハンズオンで行う本連載。前回は、第一回として下記を行いました。 Amazon S3バケットを作成 Amazon SageMakerを立ち上げ AWS Trusted Advisor を開く 今回は二回目として、Trusted Advisorで指摘された内容を確認、下記を行います。 セキュリティグルー... 続きを読む
1 / 212