■AWS Data Pipelineの使いどころ
AWS のサービスが大量にありすぎてこれだという使いどころを見つけるのは難しいですが、単純な例としたらサーバのログを定期的に S3 へ持ってくるとか、各 AWS アカウントに散らばっている S3 上のデータを 1か所の S3 に集めるなどで利用します。
■AWS Data Pipelineの特徴
- AWS Data Pipeline は、データの移動と変換を自動化するために使用できるウェブサービスです。
- AWS Data Pipeline を使用すると、データ駆動型のワークフローを定義することができるので、以前のタスクの正常な完了を基にタスクを実行できます。
- DynamoDBに設定して定期的にデータ取得ができます。
データパイプラインを使⽤して RDS データをエクスポートして DynamoDB にインポートできる
データパイプラインを使⽤して RDS データをエクスポートして DynamoDB にインポートできます。
Near Zero Downtime Migration from MySQL to DynamoDB
https://aws.amazon.com/jp/blogs/big-data/near-zero-downtime-migration-from-mysql-to-dynamodb/
MySQL エクスポート
https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-copydata-mysql.html
DynamoDBインポート
https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-importexport-ddb-part1.html
コメント