@kyanny's blog

My thoughts, my life. Views/opinions are my own.

Amazon Athena と AWS Glue

機会があってちょっとだけ使ってみた。

Athena は S3 バケット内のファイルの中身に SQL でクエリできるサービス。SQL でクエリするためにテーブルを作る必要がある(スキーマ)。

スキーマは自分で定義することもできるし、AWS Glue を使って自動生成させることもできる。

AWS Glue は ETL (Extract, Transform, Load) マネージドサービス。Crawler に S3 バケット内のファイルを解析させて Athena のテーブルを自動生成できる。

Athena はパーティション更新という作業が必要っぽく、Glue の Crawler の設定でそこも自動化できる

Athena で AWS Glue を使用するときのベストプラクティス - Amazon Athena

が、Crawler を使わずともできる方法もあるらしい。

なにせほんとにただのテスト、たった二つの JSON ファイルへのクエリしか試してないのでほぼ何もわかっていないような状態だが、一応試したということで記録しておく。