aws-recipe-user はじめに
12月初旬に行われた「AWS re:Invent 2022」の基調講演では機械学習を中心にした講演が行われ、多くのアップデートが発表されました。
今年の発表では機械学習プラットフォームの Amazon SageMaker や DWH サービスの Amazon Redshift といった既存サービスに対する機能が中心でした。
MLOps 成熟度モデルなどに代表されるフレームワークを AWS エコシステムで体現に向けた発展体系になっているのが伝わります。
MLOps を構成する要素
MLOps とは？という説明は様々な記事でなされていますが今回は自分なりの整理ですが「MLモデリング」と「運用」の2軸で見たときに、以下を継続的に実現できることが MLOps として捉えられこれらを実現するための要素が機能として提供されいる印象です。
ML モデリング
- インフラの抽象化
- 疎結合のワークフロー
- 共有とコラボレーションの担保
- 実験における再現性の確保
- パラメータの最適化
- データリネージ
運用
- インフラの抽象化
- 認証 / 認可
- リソースと利用規模の管理
- ワークフローの自動化
参考 : Amazon SageMakerを利用したエンタープライズのためのMLOps基盤ロードマップ
re:Invent 2022 で発表された新機能
以下サービスの機械学習に関連する機能が強化されました。
- Amazon SageMaker (機械学習モデル開発プラットフォームサービス)
- Amazon Redshift (マネージドデータウェアハウス)
- Amazon RDS (マネージドデータベースサービス)
※発表内容を元に筆者が作成
Amazon SageMaker の機能強化
- Geospatial ML (地理空間機械学習) のサポート
- 小売需要予測、農作業などのために衛星画像を用いた地理空間データが使用可能
- 公式リンク : Amazon SageMaker を使用した地理空間機械学習 (プレビュー)
- 2022年12月現在日本リージョン未対応
- Amazon SageMaker Role Manager
- SageMaker 上のコンソールから権限管理が可能となり IAM との親和性が向上
- 公式リンク : Amazon SageMaker 向けの新しい ML ガバナンスツール – アクセスコントロールを簡素化し、ML プロジェクトの透明性を改善
- Amazon SageMaker Model Dashboard
- SageMaker 上で提供される全モデルを一元管理できるインターフェイスの提供
- Amazon SageMaker Data Wrangler の SaaS アプリケーションをサポート
- Salesforce などの CRM だけではなく Slack や Teams なのコミュニケーションツールなどへの接続のサポート開始
- 公式リンク : NEW – Amazon SageMaker Data Wrangler が SaaS アプリケーションをデータソースとしてサポート
Amazon Redshift の機能強化
- Aamazon Redshift と Apache Spark の統合
- AWS から機能として Apache Spark 向けの統合機能を提供
- 公式リンク : NEW – Amazon Redshift と Apache Spark の統合
- Amazon Redshift の Multi-AZ のサポート
- 現状 RA3 クラスターのみで提供されている
- 公式リンク : Amazon Redshift で RA3 クラスターの マルチ AZ のサポートを開始 (プレビュー)
- Amazon Redshift 同士でのデータシェアが Lake Formation で一元管理可能に
- テーブルレベル、列レベル、行レベル単位でのアクセス制御ポリシー Lake Formation で展開可能に
- 公式リンク : Centrally manage access and permissions for Amazon Redshift data sharing with AWS Lake Formation
- S3 からのデータ取り込みを自動化するコピーツールの提供開始
- データレイク化している S3 からの継続的なデータ取り込みオペレーションを自動化
- 公式リンク : New for Amazon Redshift – Simplify Data Ingestion and Make Your Data Warehouse More Secure and Reliable
Amazon RDS の機能強化
- Amazon Aurora / Amazon RDS の PostgreSQL における言語拡張機能追加
- PostgreSQL 向けトラステッド言語拡張モジュール (pg_tle) の提供開始
- 公式リンク : New – Amazon Aurora と Amazon RDS での PostgreSQL 用の信頼できる言語拡張機能
- Amazon GuardDuty RDS Protection
- RDS に保存されたデータに対する脅威検出を可能にするサービス
- Aurora のみ提供されている機能となっている。 ※2022年12月現在
- 公式リンク : Supported Amazon Aurora databases
まとめ
既存サービスに対し今までは自前で実装する必要があった データアクセス・ガバナンス・継続的なインテグレーションを実現するための機能が急ピッチで提供されていますね。
実装する上で技術的負債となりやすい点がカバーされていくことでより、ビジネスにフォーカスしたデータ分析環境を素早くかはいつできるようになります。
今後1年で AWS を中心とした成熟した MLOps 環境のベストプラクティスが固まっていきそうです！
