Datastream は、サーバーレスの変更データ キャプチャ（CDC）とレプリケーションを提供するサービスです。このサービスを利用することで、異種のデータベースとアプリケーション間で最小限のレイテンシでデータを同期することができます。Datastream はサーバーレスであるため、リソースのプロビジョニングや管理を必要とせずに自動的にスケーリングされます。
準リアルタイム分析のためにデータを BigQuery にレプリケートしたり、イベント ドリブン アーキテクチャのために変更イベント ストリームを Cloud Storage に書き込んだりできます。Pub/Sub テンプレートと Dataflow テンプレートを統合すると、Cloud SQL や Spanner などの宛先にデータを読み込むことができます。Datastream は Knowledge Catalog とも統合されており、 Google Cloud全体でメタデータとリネージを一元管理できます。
Datastream は、MySQL、Oracle、PostgreSQL、AlloyDB for PostgreSQL、SQL Server、MongoDB、Spanner などのデータベース ソースをサポートしています。Salesforce や、Salesforce Marketing Cloud、Microsoft Dataverse、ServiceNow、Workday などのプレビュー ソースからデータをストリーミングすることもできます。プライベート接続オプション、ステータス レポート、スキーマ変更処理により、移行とハイブリッド クラウドのデプロイで信頼性の高いレプリケーションがサポートされます。
ユースケース
Datastream のストリーミング機能は、さまざまなユースケースを可能にします。
最小限のレイテンシで組織全体のデータを複製および同期
異種のデータベースやアプリケーションの間でデータを確実に、かつ低レイテンシで、ソースのパフォーマンスへの影響を最小限に抑えながら同期できます。ハイブリッド環境全体で、分析、データベース レプリケーション、クラウド移行、イベント ドリブン アーキテクチャにデータ ストリームのパワーを活用できます。
サーバーレス アーキテクチャをシームレスにスケールアップ / スケールダウンする
サーバーレスで使いやすく、データ量の変化に応じてシームレスにスケーリングするサービスを、すぐに利用開始できます。インフラストラクチャの管理、パフォーマンスのチューニング、リソースのプロビジョニングではなく、データから最新の分析情報を取得し、優先度の高い問題に対応することに集中できます。
Google Cloud データ統合スイートとの統合
Google Cloud プロダクトのデータ統合スイートを使用すると、組織全体のデータを結び付けることができます。Datastream を Dataflow ジョブ テンプレートと統合して、Cloud Storage バケットからデータを読み取り、BigQuery、Spanner、Cloud SQL などのさまざまな宛先に読み込みます。
エクスペリエンスの要素
Datastream には、主に次の 3 つの要素があります。
- プライベート接続の構成により、Datastream がプライベート ネットワーク（Google Cloud内または VPN もしくは相互接続で接続される外部ソース）を介してデータソースと通信することが可能になります。この通信は、Virtual Private Cloud（VPC）とのピアリング接続を介して行われます。
- 接続プロファイルは、ソースと宛先の両方への接続情報を表します。この情報はストリームで使用されます。
- ストリームは接続プロファイルの情報を使用して、CDC を転送するとともに、ソースから宛先にデータをバックフィルします。
次のステップ
- ソース データベースから BigQuery データセットへのデータの複製を開始します。
- Datastream の主なコンセプトと機能について学習する。
- プライベート接続構成、接続プロファイル、ストリームを作成する方法を確認する。