はじめに

こちらの記事でAmazon Redshift MLの機械学習モデル構築のためのインフラ関連などの準備をしました。
本記事では、実際に機械学習モデルをAmazon RedshiftMLで作成したいと思います。

RedshiftMLについて概要を知りたい方はこちら：

ローデータテーブル作成

以下 SQL クライアントでクエリをたたいています。
モデル作成の権限をユーザーに付与します。

作成するデータベースやモデルを保持するスキーマを作成します。

ローデータ用のテーブルを作成します。

S3 から CSV データをインポートします。CSV data S3 URI と iam-role-arn はリソース作成時に拾ったパラメータです。

ローデータテーブルのプレビュー

out

学習用テーブル作成

モデル学習しやすいようにテーブルを作成します。

• segment (受け取ったキャンペーンメールの種類。Mens E-mail, Womens E-mail, No E-mail) を 1/0 で表現 (w 列)
• Spend (過去2週間の購入金額) を目的変数として利用 (y 列)
• 通し番号を unique_id として付与
• unique_id ベースで TRAIN データと TEST データに分割 (assigm 列)

学習用テーブルのプレビュー

out

モデル構築

TRAIN データに割り振ったユーザーから (assign = 'TRAIN')、男性向けメールを送るを送ったユーザーを抽出し (w = 1) 、指標値を MSE とした回帰モデルを作成します。

• MSE (平均二乗誤差)
  • 成果位地と予測値の差を事情し、平均値をとったもの
  • 実際と予測値の誤差が大きいほどモデルの精度が悪いと判断
  • 外れ値にも過剰適合（＝過学習）してしまう可能性も

今回のケースだとこのようになります。

以下クエリでモデルの概要を取得できます。

今回のデータセットではモデル構築の完了に一時間ほど要しました。
完了次第、SageMaker > ハイパーパラメータの調整ジョブからジョブの実行にかかった時間などを見ることができます。
未完了の状態で推論するクエリを投げてもモデルの準備ができていないとエラーが返ってきます。
のんびり待ちましょう。

推論実行

推論結果の参照を Redshift の別ユーザーが行う場合は、権限を付与します。

以下で Redshift 経由で推論結果を取得できます。uplift_treatment の数値が高いユーザーに対して優先的に販促キャンペーンを打てそうです。

out

CREATE MODEL構文

AUTO_ML を利用する場合

上記では AUTOML 機能を用いました。 (AUTO ON)
もっともシンプルに実装する場合の基本構文は以下の通りです。

備考

メトリクス

機械学習モデルの品質を測定するための指標として5種から選択できます。
データセットや予測対象の属性、予測結果の用途に応じてどのメトリクスが適当かどうか変わってきます。

• Accuracy
  • 他項分類のデフォルトメトリクス
• MSE
  • 回帰のデフォルトメトリクス
  • 利用されるデータに外れ値が多い場合精度が低くなりやすいので注意
• F1
  • 二項分類のデフォルト
  • 適合率と再現率を等しく重視する
  • 回帰でMSEだと精度が上がりにくい場合にも
• F1macro
  • 他項分類で利用
  • F1 スコアの他項分類版
• AUC
  • 確率を返すロジスティクス回帰などの二項分類で利用

ハイパーパラメータ調整ジョブの実行時間

モデル学習がいつ終わるか把握したいものですが、SQL クライアントからはこの情報をパッシブに取得できません。以下迂回策です。

CloudWatch を利用

先述の通り、RedshiftML の学習データは指定の S3 バケットに保存され、学習完了時に削除されます。これをトリガーにして CloudWatch で通知を受け取るように設定します。
なお、S3_GARBAGE_COLLECT オプションを明示する際は ON にする必要があります (デフォルトはON)

MAX_RUNTIME を設定

トレーニングの最大時間を指定するオプションです。
デフォルト値は 90分 (5,400秒) で、データセットが小さい場合は指定値よりも早く完了します。
ジョブ完了通知ではありませんが、短時間でトライアンドエラーして進めたい時に使えそうです。

参考クエリ

使うクエリを乗せておきます。

まとめ

SQL だけで機械学習モデルのデプロイ、Redshift 経由で推論結果の取得までできるのは便利だと思いました。
バックエンドでは SageMaker Autopilot が動作しているので、SageMaker のコンソールからモデルをデプロイすればエンドポイント経由での推論も可能です。
そうなればドリフト値を SageMaker Model Monitor でトラッキング出来るので MLOPS 環境の構築のハードルも下がるのではないでしょうか？
Redshift上にある顧客データを活用できる便利なサービスなので、Redshift ユーザーは是非触ってみてください。

参考リンク

モデリング部分のSQLスクリプトはこちらの記事からお借りしたものをベースにしています

Amazon Redshift ML の紹介記事です。

公式ドキュメント

はじめに

RedshiftMLを実際に触ってみた手順を書きたいと思います。
大まかな手順は、

1. サンプルデータをAWS Redshiftにインポート
2. Amazon RedshiftMLで機械学習モデルを構築
3. 機械学習の結果を見る

RedshiftMLで機械学習モデルを構築していきたいと思います。
RedshiftMLって何？という方はAWS Redshift 活用術 ①をご覧ください。

この記事ではAWS環境の構築、後半では機械学習モデルを構築するまでの手順をまとめました。

RedshiftML第3回　機械学習モデル構築の記事URL:

メインターゲット

• SQLをメインで使用しているデータベース開発者、アナリスト
• Amazon Redshiftを普段から利用している方

利用するAWSサービス

Amazon Sagemaker Autopilot

• 自動機械学習（AutoML）のタスクを自動化
• 最適な機械学習アルゴリズムを自動的に選択してくれる
• モデルのトレーニング、チューニングが簡単にできる
• 初期費用￥0からスタートできる
• 回帰、二項分類、複数クラスの分類をサポートしてくれる

詳しくはこのページをご覧ください。

Amazon Redshift ML

• SQLを使ってRedshift内のデータから機械学習モデルを構築・デプロイ
• 予測結果もSQLを叩いて取得
• Redshift ML のバックエンドでは Amazon Sagemaker Autopilot が動いている

データセット

本記事ではこちらのウェブサイトの情報とデータを利用します。
イーコマースのログデータが基になっているCSVデータです。

データセットの詳細

• 顧客をランダムに3つに分類して、販促キャンペーンのメールを配信します。
  • メンズ商品のキャンペーン
  • レディース商品のキャンペーン
  • 配信なし
• ウェブサイトの訪問履歴・購入金額をトラッキング
• トラッキングの期間はキャンペーンメール配信から2週間

目的
やみくもにキャンペーンをするのは販促費などの無駄になります。よって、

• 普段は商品購入意欲が高くない
• キャンペーンを行うと商品購入する可能性が大幅に上がる

といったユーザーに絞って販促費を投入できればROI（Return On Investment、その投資でどれだけ利益が上げられたかを知る指標）が最大化できるはずです。

ROI最大化の手法の一つに、Uplift Modeling というものがあります。

本記事では Uplift Modeling のロジックへの組み込みを想定し、特定のキャンペーンを打つべきユーザーを予測する機械学習モデルを作成します。
モデル作成には2020年12月にパブリックプレビューになった Amazon Redshift ML を利用します。

データセット

• 過去12か月以内に物品を購入した64,000人の顧客情報
• ダウンロードURL
  • Windows であれば、リンクを右クリック > リンク先を保存

スキーマ

AWS環境構築

IAMロール

Redshift ML 経由で SageMaker Autopilot を操作できるようにするため、対応する権限を設定します。

IAM > ロール > ロールの作成

AWS サービス > Redshift と進み、

画面下部の Reedshift - Customiable を選択

ロール名を任意で設定、ロールの作成をクリック

作成したロールを開き、アクセス権限のタブで

• AmazonS3ReadOnlyAccess（Amazon S3 バケットに読み取り専用アクセスを付与します）
• AmazonSageMakerFullAccess（Amazon Sagemakerのフルアクセル権限をふよします）

のポリシーをアタッチします。
上記のポリシーは実行権限が大きいので、本番デプロイ時には以下の公式ドキュメントをご覧いただき、権限を絞ることをおすすめします。

信頼関係のタブで、redshift と sagemaker を追加

TrustedEntity

これでRedshiftとSagemakerのサービスを信頼します。
最後に iam role arn をコピーします。（Redshiftクラスタの構築で必要になります）

S3

今回はシンプルな構築にするため、以下の条件を満たす単一S3バケットを構築します。

• Redshift テーブル用データの保存
• Redshiftml Amazon S3 からデータを読み込むための Amazon ML アクセス許可の取得
• Amazon S3 に予測を出力するために Amazon ML のアクセス許可を得る

S3バケットをデフォルト値で構築、S3 ARN をコピーします。（こちらもRedshiftクラスタの構築で必要になります）

アクセス許可 > バケットポリシーと進み、Amazon Redshift と SageMaker Autopilot が利用できるように以下の通りバケットポリシーを変更します。
先ほど作成したロールをプリンシパルに設定します。

Redshiftクラスタ

Redshiftクラスタの構築に iam role arn と S3 ARN が必要です。

設定 > サブネットグループと進み、任意で名称を設定、VPC のすべてのサブネットを追加、クラスターサブネットグループの作成をクリックします。

クラスタ > クラスタの作成

クラスタ識別子を任意で入力。dc2.large が最も安価なクラスタだが Redshift ML は対応していないので注意してください。 (2021年5月11日時点)

Database Name、Port、Master User Name はデフォルト値でOKです。
Password を任意で入力します。Master USer Name と Password を控えておいてください。（Redshiftにデータセットをアップロードするときに必要になります）

クラスタのアクセス許可から先ほど作成した IAM ロールの iam role arn を選択、「IAM ロールを追加」を選択します。

今回ローカルの SQL クライアントからクエリをたたく。追加設定のデフォルトを使用を解除し、ネットワークとセキュリティの項目で、パブリックアクセスの有効化にチェックを入れます。

メンテナンスタブ > メンテナンストラックでプレビューの sql_preview を選択。ここまで設定が完了したらクラスタの作成へと進みます。

デプロイが完了したら、JDBC URL を控えておきます。

VPC

Redshift クラスタをインターネット経由で操作できるよう、ネットワークを構成します。
先ほど作成したクラスタのプロパティから、VPC セキュリティグループと進みます。

デフォルトだと下記の状態。インバウンドルール > インバウンドルールを編集

ルールの追加 > タイプを Redshift に選択 > マイIP と進み、ルールを保存をクリック。この作業でローカル環境から Redshift への接続が通るようになる。

アウトバウンドルールが以下の状態になっていることを確認します。

備考：Redshift クラスタの VPC サブネットのルートテーブルで、送信先 0.0.0.0/0 が blackhole になっている場合、SQL クライアントから接続する際、Connection Timeout が発生する。ルートの編集と進み、該当設定を再設定する

IGW（インターネットゲートウェイ）

インターネットに接続するためのゲートウェイがない場合は以下手順で構築します。
Redshift クラスタのプロパティから VPC と進み、別タブで開いておく

VPC ダッシュボード > インターネットゲートウェイ > インターネットゲートウェイの作成

任意でゲートウェイの名称を入力、作成をクリックします。

作成したインターネットゲートウェイを Redshift クラスタが稼働しているVPCにアタッチします。

データセット　アップロード

ダウンロードした CSV データを S3 にアップロード、S3 URI をコピーしておきます。

今回は SQL クライアントに DBeaver を用いる。

DBeaber をインストールしたら、新しい接続を選択、Redshift へと進む

JDBC ホスト、Master USer Name 、 Password を入力し、終了をクリックします。
JDBC ホスト名は、JDBC URL から dbc:redshift:// と :5439/devを除いた文字列となるので注意！

まとめ

次の記事はこちらになります。
次の記事でRedshiftMLモデルの構築をやっていきたいと思います。

参考リンク

Amazon RedshiftMLの紹介記事です。

公式ドキュメント