Trasferire flussi di dati dalle origini Spanner

L'utilizzo di un database Spanner come origine in Datastream ti consente di replicare i dati storici e gli eventi dei flussi di modifiche nella destinazione per l'analisi in tempo reale.

Per preparare l'origine Spanner in Datastream, esamina il comportamento di replica, le versioni supportate e le limitazioni note.

Comportamento

Spanner è un servizio di database completamente gestito, scalabile e ad alta affidabilità che puoi utilizzare come origine con Datastream. Datastream utilizza le modifiche in tempo reale di Spanner per monitorare le modifiche apportate ai database Spanner. Le modifiche incluse nelle modifiche in tempo reale vengono poi replicate nella destinazione per riprodurre gli eventi di origine.

Datastream non crea né modifica le modifiche in tempo reale, pertanto gli oggetti del database che non vengono monitorati dalla modifica in tempo reale di Spanner fornita non possono essere inclusi nel flusso di Datastream.

Per saperne di più su Spanner, consulta la documentazione di Spanner.

Versioni

Datastream supporta tutte le versioni di Spanner disponibili:

  • Versione Standard
  • Versione Enterprise
  • Versione Enterprise Plus

Per una panoramica di ogni versione, consulta Panoramica delle versioni di Spanner.

Livello senza costi

Datastream ti consente di eseguire lo streaming da Spanner a BigQuery utilizzando il Livello senza costi, che fornisce fino a 100 GiB di dati di Change Data Capture senza costi ogni mese. Per saperne di più, consulta i prezzi di Datastream.

Limitazioni note

Le limitazioni note per l'utilizzo di un database Spanner come origine includono:

  • Sono supportate solo le modifiche in tempo reale che utilizzano i tipi di acquisizione del valore NEW_ROW o NEW_ROW_AND_OLD_VALUES.
  • Datastream non supporta le colonne con tipo di dati PROTO o ENUM.
  • Datastream non supporta array di tipi di dati DATE o TIMESTAMP.
  • I backfill per i database di dimensioni superiori a 3 tebibyte (TiB) possono richiedere più di 24 ore.
  • I backfill creano epoche di snapshot, un tipo di backup creato per un timestamp specifico che conserva le versioni dei dati per quel timestamp. Le epoche degli snapshot ritardano le compattazioni principali fino al completamento del backfill. Per scoprire di più sulle compattazioni, consulta la panoramica del motore colonnare di Spanner.
  • Datastream potrebbe avere problemi a stare al passo con i flussi di modifiche in tempo reale di Spanner con più di 10.000 partizioni. Ciò significa che gli eventi di modifica potrebbero arrivare in ritardo o che il flusso potrebbe non riuscire.
  • Datastream potrebbe avere problemi a stare al passo con le modifiche in tempo reale di Spanner con oltre 60.000 aggiornamenti al secondo. Ciò significa che gli eventi di modifica potrebbero arrivare in ritardo o che il flusso potrebbe non riuscire.
  • Datastream potrebbe avere problemi a stare al passo con le modifiche in tempo reale di Spanner con una velocità effettiva superiore a 60 mebibyte (MiB) al secondo. Ciò significa che gli eventi di modifica potrebbero arrivare in ritardo o che il flusso potrebbe non riuscire.
  • La replica dei dati con partizionamento geografico non è supportata perché le modifiche in tempo reale di Spanner non supportano i dati partizionati.

Passaggi successivi