ネットインテグレーション事業部の荒川です。Webアプリケーションの開発やそれに伴うAWS環境の構築・設計を行っています。
2024年12月2日（月）からラスベガスで開催された「AWS re:Invent 2024」に参加しました。
今回発表された新機能のAmazon S3 Metadataについてレポートします。
セッション
タイトル：Unlock the power of your data with Amazon S3 Metadata（STG366）
- 登壇者：Huey Han, Hiren Chandiramani
- 概要： Amazon S3 Metadataを利用したデータ管理について
大量のデータを抱える企業に向けて、それらを低コストで効率的に分析したいという課題に対する新機能として、Amazon S3 Metadataが発表されました。
Amazon S3 Metadataの特徴が紹介されました。
- Amazon S3にあるオブジェクトのメタデータが自動的に生成を行う
- 生成されたメタデータはAmazon S3 Tables（今回発表された新機能）に自動的に反映される
- Amazon S3オブジェクトの作成や更新をすると、数分以内にメタデータが生成されテーブルに反映される
Amazon S3 Metadataは、Amazon S3（汎用バケット）内で起きた、オブジェクトの作成や更新を、テーブルと最終的に一致させるためのイベント処理パイプラインとなっています。
Amazon S3 Metadataに登録される、メタデータの内容です。
メタデータのテーブルスキーマは、バケット名、オブジェクトキーなどなど21個あります。※詳しくは下記参照
https://docs.aws.amazon.com/AmazonS3/latest/userguide/metadata-tables-schema.html
また、Amazon S3 Metadataを利用すると、Amazon Athena、Amazon EMR、Amazon Redshift、Amazon QuickSightといったAWSの分析ツールやApache Sparkにも簡単に利用することができます。
デモを参考にして、実際にAmazon S3 Metadataを触ってみました。
Amazon S3 Metadataの設定
最初に、Amazon S3 Metadataの設定を行います。
AWSリージョンの「米国東部(バージニア北部)us-east-1」にあるAmazon S3バケットを選択します。
※執筆時点（12/11）で、Amazon S3 Metadataのプレビューを利用できるリージョンは以下です。日本なども近日中には公開される予定です。
- us-east-1 米国東部(バージニア北部)
- us-east-2 米国東部(オハイオ)
- us-west-2：米国西部 (オレゴン)
テーブルバケットを作成していない場合は、[テーブルバケットを作成]を選択します。
[テーブルバケット名]に任意の名称を入力して（今回は“aws-wg-arakawsh-metadata-table”）、[統合を有効にする]をチェックし、[テーブルバケットを作成」ボタンを押下します。
Amazon S3 Tableのテーブルバケットが作成されました。
[メタデータ設定を作成]の画面に戻り、[送信先テーブルバケット]に先ほど作成したテーブルバケットを設定します。[メタデータテーブル名]はデフォルトのまま[メタデータ設定を作成」ボタンを押下します。
数十秒後、[メタデータ・プレビュー]画面で、ステータスが「アクティブ」になれば、メタデータの設定は完了です。
次に、[AWS Lake Formation]を表示し、操作しているIAMユーザーとその権限を追加します。
[Data permissions]にて[Grant]ボタンを押下します。
対象のIAMユーザーを選択します。
その後[Grant]を押下してIAMユーザーに操作権限を追加します。
権限の追加後に、[Amazon Athena]を表示してメタデータを確認します。
カタログに“s3tablescatalog/aws-wg-arakawsh-metadata-table”が表示されました。
対象のバケットに何件かオブジェクトを追加してみます。
Amazon Athenaで検索してみると、Amazon S3バケット内に追加したオブジェクトのメタデータが表示されました。
まとめ
re:Invent 2024のレポートとして、Amazon S3 Metadataのブレイクアウトセッションの内容を紹介しました。Amazon S3 Metadataを利用すれば、Amazon S3に保存しているデータの検索を効率的に行うことができ、管理が楽になります。
Amazon S3 MetadataとAmazon S3 Table Bucketを組み合わせて、大量のデータを抱えている企業のデータ分析やAI/MLの学習に利用してはいかがでしょう。コスト面、パフォーマンス面からメリットが期待できます。
富士ソフトのAWS関連サービスについて、詳しくはこちら
アマゾンウェブサービス(AWS)
