AWS DataSync

AWS DataSync
URL aws.amazon.com/jp/datasync/
タイプ データ転送サービス
運営者 Amazon.com
営利性 営利
登録 必要
開始 2018年11月26日（7年前） (2018-11-26)
テンプレートを表示

AWS DataSync（エーダブリューエス データシンク）は、Amazon.comがAmazon Web Services（AWS）の一部として提供する、データ転送サービスである。オンプレミスのファイルサーバーやオブジェクトストレージと、Amazon S3などのAWSのストレージサービスとの間で、大量のファイルやオブジェクトをネットワーク経由でコピーする作業を自動化する。転送元と転送先の組み合わせや転送の条件を「タスク」として登録しておくと、実行のたびに転送元と転送先を走査して差分だけを転送し、転送したデータが元のデータと一致しているかを検証する。2018年11月26日に提供が始まった。

概要

DataSyncは、ファイルやオブジェクトの転送に伴う一連の処理をマネージドサービスとして提供する。AWSは、オープンソースのツールで独自の仕組みを作らずに多数のファイルを含むデータセットをコピーできるとしている。転送には独自に設計したプロトコルとスケールアウト構成が用いられ、オンプレミスとAWSの間では1つのタスクで10ギガビット毎秒の回線を使い切れるとされる。提供開始時の発表では、オープンソースのデータ転送の10倍の速度で動作すると説明された。変更されたファイルだけを送る増分転送と転送中の圧縮を行い、転送されるデータはTLSで暗号化される。

2026年9月時点で、転送元と転送先には次の3種類のストレージを指定できる。オンプレミス側はNFS共有、SMB共有、Hadoop分散ファイルシステム（HDFS）、自己管理のオブジェクトストレージである。AWS側はAmazon S3、Amazon Elastic File System（Amazon EFS）、Amazon FSxの各ファイルシステムである。他社クラウド側はGoogle Cloud Storage、Microsoft AzureのBlob StorageとFilesなど12のサービスである。

料金は、ストレージのロケーション間で転送したデータ量に応じたギガバイト単位の従量制で、初期費用や最低料金はない。後述する拡張モードのタスクでは、これに加えてタスクの実行ごとの料金がかかる。

AWSは目的に応じた使い分けを案内している。既存のデータをAmazon S3へ移す段階ではDataSyncを使い、移行後もオンプレミスのアプリケーションから同じデータを使い続ける場合はAWS Storage GatewayのFile Gateway構成を併用する、社外とSFTPでデータを交換する用途にはAWS Transfer Familyを使う、という整理である。

仕組み

エージェント
オンプレミスのストレージへアクセスするために利用者側に配置するソフトウェア。VMware ESXi、KVM、Microsoft Hyper-Vといったハイパーバイザ上の仮想マシンとして、またはAmazon EC2のインスタンスとして動かす。同一のAWSアカウント内でAWSのストレージサービス同士を転送する場合や、拡張モードで他社クラウドと転送する場合は不要である。
ロケーション
転送元・転送先として登録するストレージの定義。NFS共有、SMB共有、HDFS、オブジェクトストレージ、Amazon S3のバケット、各ファイルシステムなどを、接続に必要な情報とともに登録する。
タスク
ロケーションの組み合わせに転送の条件を加えたもの。実行の予定、転送対象を絞り込む含めるフィルタと除外するフィルタ、転送するファイルを列挙したマニフェスト、転送元で変更または削除されたファイルを転送先でどう扱うか、使用する帯域幅の上限などを指定できる。タスクを実行するたびに転送元と転送先が走査され、差分のデータとメタデータだけが転送される。
タスクモード
基本（Basic）モードと拡張（Enhanced）モードがある。基本モードはデータセットに含まれるファイル数やオブジェクト数に上限があり、準備・転送・検証を順に行う。拡張モードはこれらを並行して行い、扱えるオブジェクト数の上限が事実上ない。2026年9月時点で、拡張モードはAmazon S3のロケーション間、他社クラウドとAmazon S3の間、およびオンプレミスのNFSまたはSMBファイルサーバーとAmazon S3の間で利用できる。
検証とレポート
転送中に整合性のチェックを行い、転送の完了後にファイル全体のチェックサムを転送元と転送先で比較する検証を任意で実行できる。タスクの実行ごとに、転送・スキップ・検証・削除の対象となったファイルの一覧と件数をまとめたタスクレポートを出力できる。

転送の進み具合はAmazon CloudWatchのメトリクスとして参照でき、ファイル単位の記録をCloudWatch Logsに出力することもできる。DatadogやNew Relicなどのサードパーティーのオブザーバビリティサービス（システムの状態を外部から観測・把握するための監視サービス）もDataSyncを対象としており、New RelicはCloudWatchのメトリクスストリーム経由でDataSyncのメトリクスを取り込むインテグレーションを提供している。Datadogは、DataSyncのエージェントやタスクを監視対象の資源の一覧（リソースカタログ）として扱う文書を公開している。

歴史

DataSyncは、AWSの年次イベントre:Invent 2018の開幕前夜に行われた催し「Midnight Madness」で発表され、2018年11月26日から提供が始まった。当初はオンプレミスのNFSサーバーを対象とし、インターネットまたはAWS Direct Connectの回線を経由してAmazon S3とAmazon EFSへ同期する構成で、東京リージョンを含む主要なリージョンで利用できた。2019年8月22日にはSMBファイル共有との間の転送に対応した。

その後、対応するストレージと構成が広がった。2020年11月9日には、AWSのストレージサービス同士の転送でエージェントの配置が不要になった。2021年11月4日にはHDFSに対応し、Amazon FSxの各ファイルシステムやオンプレミスのオブジェクトストレージにも順次対応した。2022年5月24日には、AWSと他社クラウドの間の転送としてGoogle Cloud StorageとMicrosoft Azure Filesが加わった。

2022年9月21日には、オンプレミスのストレージの性能と使用状況を自動的に収集し、移行先となるAWSのストレージサービスを提案する機能「DataSync Discovery」のプレビューが始まり、2023年4月25日に正式に提供が始まった。2024年10月30日には、Amazon S3のロケーション間の転送を対象に拡張モードが追加された。2025年5月29日にはAWSと他社クラウドの間の転送でも拡張モードが使えるようになり、この構成ではエージェントが不要となった。2026年7月28日には、拡張モードの対応先としてHDFS、Azure Blob Storage、オブジェクトストレージのロケーションが加わった。

関連項目

脚注

  1. 1 2 3 “What is AWS DataSync?” (英語). Amazon Web Services. 2026年9月7日閲覧。
  2. 1 2 3 4 5 6 7 8 9 10 11 12 13 “AWS DataSync FAQs” (英語). Amazon Web Services. 2026年9月7日閲覧。
  3. 1 2 3 4 “New – AWS DataSync – Automated and Accelerated Data Transfer” (英語). Amazon Web Services (2018年11月26日). 2026年9月7日閲覧。
  4. ↑ Kurt Marko (2019年3月15日). “Accelerate data migration with AWS DataSync” (英語). TechTarget. 2026年9月7日閲覧。
  5. ↑ “AWS DataSyncの料金”. Amazon Web Services. 2026年9月7日閲覧。
  6. 1 2 “AWS DataSync announces fully automated transfers between AWS Storage services” (英語). Amazon Web Services (2020年11月9日). 2026年9月7日閲覧。
  7. 1 2 “AWS DataSync increases performance and scalability for data transfers” (英語). Amazon Web Services (2024年10月30日). 2026年9月7日閲覧。
  8. ↑ “AWS DataSync integration” (英語). New Relic. 2026年9月7日閲覧。
  9. ↑ “aws_datasync_task” (英語). Datadog. 2026年9月7日閲覧。
  10. 1 2 “［速報］AWS DataSync発表。オンプレミスとクラウド間で高速なデータ同期を実現。AWS re:Invent 2018”. Publickey (2018年11月27日). 2026年9月7日閲覧。
  11. ↑ “AWS DataSync can now transfer data to and from SMB file shares” (英語). Amazon Web Services (2019年8月22日). 2026年9月7日閲覧。
  12. ↑ “AWS DataSync can now copy data between Hadoop Distributed File Systems (HDFS) and AWS Storage services” (英語). Amazon Web Services (2021年11月4日). 2026年9月7日閲覧。
  13. 1 2 “New for AWS DataSync – Move Data Between AWS and Other Public Locations” (英語). Amazon Web Services (2022年5月24日). 2026年9月7日閲覧。
  14. ↑ Renato Losio (2022年6月28日). “AWS DataSyncがAWS、Google Cloud、Azure間のデータ移動をサポート”. InfoQ Japan. 2026年9月7日閲覧。
  15. ↑ “Announcing preview of AWS DataSync Discovery” (英語). Amazon Web Services (2022年9月21日). 2026年9月7日閲覧。
  16. ↑ “Announcing AWS DataSync Discovery general availability (GA)” (英語). Amazon Web Services (2023年4月25日). 2026年9月7日閲覧。
  17. ↑ “AWS DataSync Enhanced mode adds HDFS, Azure Blob, and object storage locations with Hyper-V agent support” (英語). Amazon Web Services (2026年7月28日). 2026年9月7日閲覧。

外部リンク