Controlli della concorrenza dello stream

I controlli della concorrenza dei flussi in Datastream ti consentono di gestire il numero massimo di attività di Change Data Capture (CDC) e di backfill parallele eseguite da un flusso. Puoi modificare questi parametri nell'API Datastream per aumentare la velocità effettiva di replica o limitare il carico sul database di origine.

Panoramica dei controlli della concorrenza

Utilizzando i controlli della concorrenza, puoi ottenere un backfill e un CDC più rapidi o bilanciare il carico sul database di origine. Se hai bisogno di un throughput più elevato e puoi permetterti un carico maggiore sul database, puoi aumentare la contemporaneità delle attività di CDC e backfill. Al contrario, se il database è sottoposto a un carico elevato e vuoi proteggerlo dal sovraccarico, puoi ridurre i valori di questi parametri.

Numero massimo di attività CDC

Il parametro maxConcurrentCdcTasks consente di controllare il numero di attività CDC eseguite in parallelo da uno stream. Per estendere la velocità effettiva CDC, aumenta il valore di questo parametro e consenti a Datastream di elaborare più file di log CDC contemporaneamente.

Le caratteristiche principali del parametro includono:

  • Il valore predefinito è 5. Puoi impostare questo parametro su qualsiasi valore compreso tra 1 e 50 inclusi.
  • Il parametro è applicabile solo alle origini Oracle e MySQL.
  • Il parametro ha effetto solo se sono disponibili più file di log del database da leggere rispetto alle attività CDC. Le impostazioni dei file di log sono controllate dai parametri di configurazione del database di origine: la dimensione massima del file di log e l'intervallo di tempo massimo per la rotazione dei log. Per ulteriori informazioni su questi parametri, consulta la documentazione di Oracle e MySQL.
  • Se riduci il numero di attività CDC simultanee, Datastream potrebbe rimanere indietro rispetto ai log del database, il che potrebbe portare alla perdita della posizione del log e all'errore dello stream.

Numero massimo di attività di backfill

Il parametro maxConcurrentBackfillTasks consente di controllare il numero di attività di backfill che uno stream può eseguire in parallelo. Puoi aumentare o diminuire questo valore per controllare il throughput di backfill.

Le caratteristiche principali del parametro includono:

  • Il valore predefinito è 15. Puoi impostare questo parametro su qualsiasi valore compreso tra 1 e 50 inclusi.
  • L'aumento della concorrenza di backfill comporta un rischio elevato, perché le attività di backfill hanno un impatto significativo sulle prestazioni del database. Ogni attività di backfill esegue una query SELECT non filtrata su una tabella e, per le tabelle di grandi dimensioni, queste query restituiscono un numero elevato di righe.
  • Se riduci la concorrenza del backfill, non ci sarà alcun impatto negativo sul database di origine, ad eccezione del fatto che il backfill richiederà più tempo per essere completato.

Modifica i valori dei controlli della concorrenza

Puoi modificare i valori dei parametri di controllo della contemporaneità utilizzando l'API Datastream.

Passaggi successivi