Ingestion de la capture des données modifiées

L'ingestion de capture des données modifiées (CDC) vous permet de synchroniser vos bases de données sources avec des tables gérées par Lakehouse sans bordure Apache Iceberg (anciennement tables BigLake pour Apache Iceberg dans BigQuery) en temps réel. En capturant les modifications incrémentales, telles que les insertions, les mises à jour et les suppressions, la CDC garantit que votre lakehouse reflète l'état le plus récent de vos données opérationnelles sans nécessiter de rechargement complet des tables.

Les tables gérées par Apache Iceberg utilisent les concepts et les fonctionnalités de la CDC BigQuery pour traiter efficacement ces modifications et permettre une analyse à faible latence des données stockées dans des formats ouverts tels qu'Apache Iceberg. Cette approche réduit considérablement la surcharge de gestion associée aux processus ETL classiques.

Limites

Les tables gérées par Apache Iceberg sont compatibles avec l'ingestion de capture des données modifiées (CDC) et utilisent les mêmes concepts et fonctionnalités que l'ingestion CDC BigQuery standard. Toutefois, vous devez tenir compte de quelques limites supplémentaires :

  • Les suppressions hors ordre ne sont pas acceptées. Contrairement à l'ingestion CDC BigQuery, aucune fenêtre de conservation des suppressions n'est conservée pour les tables gérées par Iceberg compatibles avec la CDC. Si un événement DELETE arrive avant l'insertion de l'enregistrement correspondant, la suppression est ignorée par les jobs d'application en arrière-plan. Cela peut entraîner la présence d'enregistrements hors ordre dans votre table qui étaient destinés à être supprimés.
  • Toutes les limites sous Limites des tables gérées par Apache Iceberg.
  • Toutes les limites sous Limites d'ingestion CDC BigQuery.

Étape suivante

Pour en savoir plus, consultez la documentation BigQuery suivante :