Datastream – Übersicht

Datastream ist ein serverloser CDC- (Change Data Capture) und Replikationsdienst, mit dem Sie Daten zwischen heterogenen Datenbanken und Anwendungen mit minimaler Latenz synchronisieren können. Da Datastream serverlos ist, wird es automatisch skaliert, ohne dass Sie Ressourcen bereitstellen oder verwalten müssen.

Sie können Daten für Analysen nahezu in Echtzeit in BigQuery replizieren oder Änderungsereignisstreams für ereignisgesteuerte Architekturen in Cloud Storage schreiben. Durch die Einbindung von Pub/Sub- und Dataflow-Vorlagen können Sie Daten in Ziele wie Cloud SQL und Spanner laden. Datastream ist auch in Knowledge Catalog eingebunden, um Metadaten und Lineage in Google Cloudzentral zu verwalten.

Datastream unterstützt Datenbankquellen wie MySQL, Oracle, PostgreSQL, AlloyDB for PostgreSQL, SQL Server, MongoDB und Spanner. Sie können auch Daten aus Salesforce und aus Vorabversionen von Quellen wie Salesforce Marketing Cloud, Microsoft Dataverse, ServiceNow und Workday streamen. Optionen für private Konnektivität, Statusberichte und die Verarbeitung von Schemaänderungen unterstützen eine zuverlässige Replikation für Migrationen und Hybrid-Cloud-Bereitstellungen.

Anwendungsfälle

Die Streamingfunktionen von Datastream ermöglichen eine Vielzahl von Anwendungsfällen:

  • Daten in Ihrer Organisation mit minimaler Latenz replizieren und synchronisieren

    Sie können Daten über heterogene Datenbanken und Anwendungen hinweg zuverlässig mit geringer Latenz und minimalen Auswirkungen auf die Leistung Ihrer Quelle synchronisieren. Nutzen Sie das Potenzial von Datenstreams für Analysen, Datenbankreplikation, Cloud-Migration und ereignisgesteuerte Architekturen in Hybridumgebungen.

  • Mit einer serverlosen Architektur nach oben oder unten skalieren

    Mit einem serverlosen und nutzerfreundlichen Dienst, der sich nahtlos an Ihre Datenmengen anpasst, sind Sie schnell startklar. Konzentrieren Sie sich darauf, aktuelle Informationen aus Ihren Daten abzuleiten und auf Probleme mit hoher Priorität zu reagieren, anstatt sich um die Verwaltung der Infrastruktur, die Leistungsoptimierung oder die Ressourcenbereitstellung zu kümmern.

  • In die Datenintegrations-Suite von Google Cloud einbinden

    Mit der Suite von Produkten zur Datenintegration von Google Cloud können Sie Daten in Ihrer gesamten Organisation verbinden. Binden Sie Datastream in Dataflow-Jobvorlagen ein, um Daten aus einem Cloud Storage-Bucket zu lesen und in verschiedene Ziele wie BigQuery, Spanner und Cloud SQL zu laden.

Experience-Elemente

Datastream besteht aus drei Hauptelementen:

  • Mit Konfigurationen für private Konnektivität kann Datastream über ein privates Netzwerk (intern innerhalb vonGoogle Cloudoder mit externen Quellen, die über VPN oder Interconnect verbunden sind) mit einer Datenquelle kommunizieren. Diese Kommunikation erfolgt über eine Peering-Verbindung mit einer Virtual Private Cloud (VPC).
  • Verbindungsprofile enthalten Verbindungsinformationen zu einer Quelle und einem Ziel. Diese Informationen werden von einem Stream verwendet.
  • Streams verwenden die Informationen in den Verbindungsprofilen, um CDC- und Backfill-Daten von der Quelle zum Ziel zu übertragen.

Nächste Schritte