はじめに

2020年9月、AWS上で利用可能なdatabricksのプランに新しく E2 が追加されました。
この記事では、E2の機能について紹介していきます。

プランの概要

E2のプランにすることで、以下の機能が使えるようになります。

• マルチワークスペースアカウント
• 顧客管理VPC
• 安全なクラスター接続
• ノートブックの顧客管理キー

それぞれの機能について、見ていきます。

1. Multi-workspace accounts

アカウントAPIを使用し、単一のDatabricksアカウントで、複数の新しいDatabricksワークスペースをプログラムで作成することが可能です。作成する各ワークスペースには 異なる構成を設定できます。

2. Customer-managed VPCs

デフォルトでは、Databricksは各ワークスペースのAWSアカウントにVPCを作成しますが、E2の場合、この顧客管理VPC機能により独自のVPCにDatabricksワークスペースを作成することができます。

3. Secure cluster connectivity

すべてのノードがプライベートIPアドレスのみを持つクラスターを起動し、VPCに開いているポートがなくなることで、安全なクラスター接続が実現できます。

4. Customer-managed keys for notebooks

ワークスペースの作成中に、CMK（顧客管理キー）と呼ばれる取り消し可能な秘密鍵を追加することができます。CMKとDMK（データ暗号キー）を結合し、ワークスペースにDEK（派生暗号キー）を作成します。

価格について

11月4日現在では、公式ページでは価格オプションについて確認できませんでした。もしかすると現行のEnterpriseプランに含まれているかもしれませんので、今後確認でき次第追記していきます。

まとめ

これらの機能によって、より安全でスケーラブルに、AWS上でdatabricksプラットフォームを利用することができそうですね。

公式ドキュメント

• https://docs.databricks.com/getting-started/overview.html#e2-architecture
• https://docs.databricks.com/administration-guide/account-api/new-workspace.html
• https://docs.databricks.com/administration-guide/cloud-configurations/aws/customer-managed-vpc.html
• https://docs.databricks.com/security/secure-cluster-connectivity.html
• https://docs.databricks.com/security/keys/customer-managed-keys-notebook-aws.html
• https://docs.databricks.com/release-notes/product/2020/september.html#e2-architecture—now-ga—provides-better-security-scalability-and-management-tools