S3 へのデータアップロードをトリガーにデータを推論し、推論結果を S3 に保存する AWS Lambda 関数の作成

Pocket

はじめに

今回は S3 へのデータアップロードをトリガーに、アップロードされたデータを推論し、結果を S3 に保存する関数を作成しました。
その内容を記載します。

前提

SageMakerでデプロイできるモデルがある。
※今回作成した Lambda 関数を使う際には、事前にモデルをデプロイしておく必要があります。
※私は画像検出のモデルを使用します。

関数の作成/設定

まず、AWS のコンソールから Lambda と検索し、 Lambda を選択します。

左の一覧から関数を選択し、右上の関数の作成を選択します。

一から作成にチェックをつけ下へスクロール。

関数名に任意の名前を入力し、ランタイムは Python3.7 を選択してください。

実行ロールは基本的な Lambda アクセス権限で新しいロールを作成を選択し、関数の作成を選択します。

作成が完了すると、次のような画面が表示されます。

少し下にスクロールし左のトリガーの追加から S3 を選択してください。

選択したら、更に下にスクロールし各種設定を行います。
・バケット名 : データをアップロードするバケットを選択します。
・イベントタイプ : PUT を選択します。
・プレフィックス : データのアップロードを検知するフォルダを指定します。
・サフィックス : 検知するデータの末尾の形式を指定します。
私は画像検出のモデルを使用するので、.jpgと入力しています。
・トリガーの有効化 : チェックを付けておきます。

下にスクロールして、右下の追加を選択します。

追加したら、右上の保存ボタンを選択して、設定を保存します。

保存したら、少し上にスクロールして、赤枠で囲まれた部分を選択し、下にスクロール。

すると、以下のような画面がでてきます。
赤枠内に、実際のプログラムを記述します。

今回私が作成したプログラムは以下の通りです。

プログラムは下記の流れになっています。
1. S3にアップロードされたデータを推論。
2. 推論結果を保存。
3. アップロードされたデータを、別フォルダにコピーし、アップロードされたデータを削除。
プログラムを書き終えたら、もう一度右上の保存を選択します。

実行ロール の設定

さきほど何もいじらずに作成した、実行ロールに、S3とSageMakerのフルアクセスをアタッチします。
※今回はテストのため、フルアクセスをアタッチしますが、本番で利用する際は適切なIAMロールを作成してください。
IAMを開き、左の欄からロールを選択し、検索欄にLambda関数を作成した時に付けた名前を入力してください。

入力し、出てきたロールを選択します。

ポリシーのアタッチを選択します。

検索バーに S3 と入力し、S3 のフルアクセスにチェックを付けて、ポリシーのアタッチを選択します。

同様に、検索バーに SageMaker と入力し、SageMaker のフルアクセスにチェックを付けて、ポリシーのアタッチを選択します。

すると、2つのポリシーがアタッチされたことが確認できます。

実際にS3にデータをアップロードし、Lambda 関数を起動してみる。

この手順に入る前に使用するモデルをデプロイしてください。
Lambda関数作成時に設定した画像アップロードフォルダに画像をアップロードします。


アップロードしたら、作成したLambda関数を開いて、モニタリングタブを選択し、CloudWatch のログ表示を選択します。

するとこのような形で、Lambda 関数の起動ごとにログが記録されています。
ログを開くと Lambda 関数が正常に動作しているか確認できます。

正常に動作している場合、S3に、推論結果が保存され、アップロードしたデータは別フォルダに格納され、削除されます。



ちなみに推論結果を可視化した画像はこちらになります。

最後に
今回は、S3へのデータアップロードをトリガーに、推論を行いました。
トリガーを変更することで、他にもいろいろな処理ができますので、ぜひ試してみてください。