AWS Lake Formation

AWS Lake Formation とは

AWS Lake Formation は、一言でいうと S3上のデータレイクに対して、データの管理・カタログ化・権限制御を行うサービスです。特に重要なのは、S3 バケットポリシーや IAM ポリシーだけで細かく制御するのではなく、「データベース・テーブル・カラム・行・セル」単位でアクセス制御できる点です。Lake Formation は S3 上のデータレイクと AWS Glue Data Catalog のメタデータに対して、きめ細かなアクセス制御を一元管理するサービスです。

Lake Formation の役割

Lake Formation の役割です。確かにこれを全部管理者がやろうとするのはかなり大変というか、できないですね。

• データレイク管理　S3上のデータを分析用データとして管理する
• カタログ管理　Glue Data Catalog にデータベース・テーブルとして登録する
• 権限管理　テーブル、カラム、行、セル単位でアクセス制御する
• データ共有　他アカウント、Organizations、外部プリンシパルへ共有する
• 分析サービス連携　Athena、Redshift Spectrum、EMR、Glue、QuickSight などから利用する