aws-recipe-user 前回は『Amazon Athena編～JDBC接続を試してみる～』と題して、Amazon AthenaでJDBC接続を試してみました。
今回は『Amazon Athena編～DB作成を試してみる～』と題して、Amazon AthenaでDB作成を試してみたいと思います。
AthenaのDB作成
AthenaではDB作成にDDL文かウィザードの2通りの方法があります。
今回はS3のアクセスログをウィザードで作成してみたいと思います。
1.Databasesの設定
Databasesの設定を行っていきます。
「Catalog Manager」から「Add table」をクリックします。
次の画面で「Create new database」を選択して名称を入力します。
また、S3のアクセスログがあるバケットを指定します。
2.Data Formatの設定
次にデータのフォーマットの設定を行います。
「Data Format」には「Apache Web Logs」を指定してRegexをS3のアクセスログ用に変更します。
※S3のアクセスログのフォーマットに関してはこちらをご参照ください。
3.Columnsの設定
続いてカラムの設定をしていきます。
Regexで分けたようにカラムを追加していきます。
今回はパーティションを設定していないのでそのまま「Create table」をクリックします。
「Results」で結果を確認出来ます。
4.結果確認
それでは実際にテーブルを確認してみます。
データベースを今回作成したものにして以下を実行してみます。
|
1 |
SELECT * FROM access_logs limit 10; |
結果がレスポンスされますね。
最後に今回のDBのDDL文を載せておきます。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 |
CREATE EXTERNAL TABLE IF NOT EXISTS test.access_logs ( `BucketOwner` string, `Bucket` string, `RequestDateTime` string, `RemoteIP` string, `Requester` string, `RequestID` string, `Operation` string, `Key` string, `RequestURI_operation` string, `RequestURI_key` string, `RequestURI_httpProtoversion` string, `HTTPstatus` string, `ErrorCode` string, `BytesSent` string, `ObjectSize` string, `TotalTime` string, `TurnAroundTime` string, `Referrer` string, `UserAgent` string, `VersionId` string ) ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.RegexSerDe' WITH SERDEPROPERTIES ( 'serialization.format' = '1', 'input.regex' = '([^ ]*) ([^ ]*) \\[(.*?)\\] ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) \\\"([^ ]*) ([^ ]*) (- |[^ ]*)\\\" (-|[0-9]*) ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) ([^ ]*) (\"[^\"]*\") ([^ ]*)$' ) LOCATION 's3://バケット名/'; |
いかがでしたでしょうか？
次回もお楽しみに！！！
次回記事：Amazon Athena編～QuickSightからの接続を試してみる～
Amazon Web Serviceの構築・保守でお困りの方はこちら
