aws-recipe-user はじめに
今回は S3 へのデータアップロードをトリガーに、アップロードされたデータを推論し、結果を S3 に保存する関数を作成しました。
その内容を記載します。
前提
SageMakerでデプロイできるモデルがある。
※今回作成した Lambda 関数を使う際には、事前にモデルをデプロイしておく必要があります。
※私は画像検出のモデルを使用します。
関数の作成/設定
まず、AWS のコンソールから Lambda と検索し、 Lambda を選択します。
左の一覧から関数を選択し、右上の関数の作成を選択します。
一から作成にチェックをつけ下へスクロール。
関数名に任意の名前を入力し、ランタイムは Python3.7 を選択してください。
実行ロールは基本的な Lambda アクセス権限で新しいロールを作成を選択し、関数の作成を選択します。
作成が完了すると、次のような画面が表示されます。
少し下にスクロールし左のトリガーの追加から S3 を選択してください。
選択したら、更に下にスクロールし各種設定を行います。
・バケット名 : データをアップロードするバケットを選択します。
・イベントタイプ : PUT を選択します。
・プレフィックス : データのアップロードを検知するフォルダを指定します。
・サフィックス : 検知するデータの末尾の形式を指定します。
私は画像検出のモデルを使用するので、.jpgと入力しています。
・トリガーの有効化 : チェックを付けておきます。
下にスクロールして、右下の追加を選択します。
追加したら、右上の保存ボタンを選択して、設定を保存します。
保存したら、少し上にスクロールして、赤枠で囲まれた部分を選択し、下にスクロール。
すると、以下のような画面がでてきます。
赤枠内に、実際のプログラムを記述します。
今回私が作成したプログラムは以下の通りです。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 |
import json import boto3 def lambda_handler(event, context): s3 = boto3.client("s3") sagemaker = boto3.client("sagemaker-runtime", region_name="ap-northeast-1") #S3にアップロードされた画像データ情報を取得 bucket = event['Records'][0]['s3']['bucket']['name'] key = event['Records'][0]['s3']['object']['key'] input_data = s3.get_object(Bucket=bucket, Key=key) #画像データをバイナリデータに変換 body = input_data['Body'].read() b = bytearray(body) #推論 endpoint_response = sagemaker.invoke_endpoint( #エンドポイント名を設定 EndpointName='auto-endpoint', Body=b, ContentType='image/jpeg' ) results = endpoint_response['Body'].read() print(endpoint_response) print(results) split_s3_path = key.split('/') for i in split_s3_path: if 'jpg' in i: full_file_name = i file_name = i.split('.')[0] #output_keyに推論結果の保存パスを設定 output_key = 'dog-face/lambda/推論結果/'+file_name+'.json' #S3に推論結果をjsonファイルで保存 s3.put_object(Body=results,Bucket=bucket,Key=output_key) #copy_keyに推論後画像を格納するパスを設定 copy_key = 'dog-face/lambda/推論済み画像/'+full_file_name #S3のアップロードされたデータを別フォルダにコピーして元データは削除 s3.copy_object(Bucket=bucket,Key=copy_key,CopySource={'Bucket': bucket, 'Key': key}) s3.delete_object(Bucket=bucket,Key=key) |
プログラムは下記の流れになっています。
1. S3にアップロードされたデータを推論。
2. 推論結果を保存。
3. アップロードされたデータを、別フォルダにコピーし、アップロードされたデータを削除。
プログラムを書き終えたら、もう一度右上の保存を選択します。
実行ロール の設定
さきほど何もいじらずに作成した、実行ロールに、S3とSageMakerのフルアクセスをアタッチします。
※今回はテストのため、フルアクセスをアタッチしますが、本番で利用する際は適切なIAMロールを作成してください。
IAMを開き、左の欄からロールを選択し、検索欄にLambda関数を作成した時に付けた名前を入力してください。
入力し、出てきたロールを選択します。
ポリシーのアタッチを選択します。
検索バーに S3 と入力し、S3 のフルアクセスにチェックを付けて、ポリシーのアタッチを選択します。
同様に、検索バーに SageMaker と入力し、SageMaker のフルアクセスにチェックを付けて、ポリシーのアタッチを選択します。
すると、2つのポリシーがアタッチされたことが確認できます。
実際にS3にデータをアップロードし、Lambda 関数を起動してみる。
この手順に入る前に使用するモデルをデプロイしてください。
Lambda関数作成時に設定した画像アップロードフォルダに画像をアップロードします。
アップロードしたら、作成したLambda関数を開いて、モニタリングタブを選択し、CloudWatch のログ表示を選択します。
するとこのような形で、Lambda 関数の起動ごとにログが記録されています。
ログを開くと Lambda 関数が正常に動作しているか確認できます。
正常に動作している場合、S3に、推論結果が保存され、アップロードしたデータは別フォルダに格納され、削除されます。
ちなみに推論結果を可視化した画像はこちらになります。
最後に
今回は、S3へのデータアップロードをトリガーに、推論を行いました。
トリガーを変更することで、他にもいろいろな処理ができますので、ぜひ試してみてください。
