Optimiser les jobs de chargement

Vous pouvez respecter les limites de jobs de chargement par table dans BigQuery en regroupant les écritures, en diffusant des mises à jour fréquentes et en partitionnant les tables de destination. Les quotas de modification quotidiens sont fixes et ne peuvent pas être augmentés. Par conséquent, l'utilisation d'écritures moins nombreuses et plus volumineuses avec de nouvelles tentatives intégrées au client permet d'éviter les erreurs quotaExceeded.

Fonctionnement des quotas d'opérations sur les tables

La limite BigQuery pour les modifications de table par table, par jour et par projet est fixe, que les modifications ajoutent ou mettent à jour des données, ou tronquent la table. Cette limite inclut le total combiné de tous les jobs de chargement, jobs de copie et jobs de requête qui ajoutent ou écrasent une table de destination.

Les jobs de chargement ont un taux de recharge. Si vous dépassez la limite d'opérations sur les tables ou son taux de renouvellement, les jobs de chargement échouent avec une erreur quotaExceeded. La limite au niveau du projet pour les jobs de chargement par jour est réinitialisée toutes les 24 heures. Une fois les jobs de chargement terminés, votre quota disponible diminue. Le quota se recharge ensuite progressivement au cours des 24 heures suivantes. Les jobs de chargement ayant échoué sont toujours comptabilisés dans les quotas par table et par projet. Pour en savoir plus sur les limites des jobs de chargement, consultez Jobs de chargement.

Pour les tables partitionnées, une limite distincte pour les modifications de tables partitionnées s'applique, en remplacement de la limite de table standard.

Pour ne pas dépasser les limites d'opérations de table quotidiennes, répartissez les opérations sur une période de 24 heures. Par exemple, si vous effectuez 25 mises à jour, chacune comportant 60 opérations, vous pouvez exécuter environ 60 opérations toutes les 58 minutes. Cette approche vous aide à respecter la limite quotidienne. Pour surveiller les mises à jour des tables, consultez Vues BigQuery INFORMATION_SCHEMA.

Opérations sur les tables exclues du quota

La mise à jour des informations de table (métadonnées) et l'utilisation d'instructions LMD ne sont pas comptabilisées dans votre limite quotidienne de modifications de table. Cette exclusion s'applique aux tables standards et partitionnées.

Votre projet peut exécuter un nombre illimité d'instructions LMD. Auparavant, les instructions LMD étaient comptabilisées dans les modifications quotidiennes des tables et n'étaient pas limitées, même lorsque la limite était atteinte. Ce n'est plus le cas.

Les insertions en flux continu modifient également les tables, mais elles sont régies par leurs propres quotas.

Stratégies de chargement pour éviter la limite d'opérations sur les tables

Pour ne pas dépasser la limite quotidienne d'opérations sur les tables de BigQuery, tenez compte des bonnes pratiques suivantes :

  • Effectuez des écritures moins nombreuses, mais plus volumineuses, plutôt que de nombreuses petites écritures.
  • Réduire le nombre de jobs d'écriture distincts dans votre table de production finale chaque jour.

Pour appliquer ces bonnes pratiques, chargez vos données par lot ou en flux continu dans BigQuery. Le choix de la méthode de chargement dépend de votre besoin de charger des volumes élevés de données en temps réel ou non. Les sections suivantes expliquent en détail le chargement par lot et le streaming de données, y compris les outils et services que vous pouvez utiliser pour chaque méthode.

Chargement par lot

Pour ne pas dépasser la limite de chargement quotidienne par projet pour BigQuery, regroupez de grandes quantités de données et chargez-les dans BigQuery avec moins de jobs. Les sections suivantes décrivent plusieurs méthodes que vous pouvez utiliser pour charger vos données par lot.

Charger plus de données pour chaque job

Au lieu d'envoyer des données à BigQuery chaque fois que de nouvelles informations sont disponibles, collectez-les et chargez-les dans BigQuery à l'aide d'un seul job volumineux.

Par exemple, au lieu d'exécuter un job de chargement distinct pour quelques lignes de données, vous pouvez attendre d'accumuler plusieurs milliers de lignes de données dans un fichier (par exemple, un fichier CSV ou JSON), puis exécuter un job de chargement pour ajouter toutes les données à une table. Cette action compte comme une seule opération de table, même si le job contient beaucoup plus de données. Vous pouvez regrouper vos fichiers par lot en utilisant des caractères génériques avec votre job de chargement. Les caractères génériques vous permettent de sélectionner des lots de fichiers dans un répertoire pour charger plusieurs fichiers en un seul job de chargement.

L'exemple suivant montre comment utiliser des caractères génériques avec votre commande bq load ou vos requêtes SQL LOAD DATA.

bq

L'exemple suivant montre une commande bq load permettant de charger des données CSV depuis Cloud Storage dans une table BigQuery nommée my_target_table. Pour sélectionner plusieurs noms de fichiers sources, utilisez un caractère générique avec la commande. L'option AUTODETECT détermine automatiquement le schéma de votre table à partir des données sources dans Cloud Storage. Elle peut accepter un caractère générique (*) pour charger plusieurs fichiers correspondant à un modèle de nommage spécifique dans la table BigQuery.

bq load \
  --source_format=CSV \
  --autodetect \
  --project_id=PROJECT_ID \
  DATASET_NAME.TABLE_NAME \
  "gs://BUCKET_NAME/OBJECT_PATH_WILDCARD"

Remplacez les éléments suivants :

  • PROJECT_ID : ID de votre projet Google Cloud .
  • DATASET_NAME : nom de l'ensemble de données BigQuery dans lequel vous souhaitez charger les données.
  • TABLE_NAME : nom de la table BigQuery dans laquelle vous souhaitez charger les données.
  • BUCKET_NAME : nom du bucket Cloud Storage contenant les fichiers sources.
  • OBJECT_PATH_WILDCARD : chemin d'accès à vos fichiers CSV dans le bucket Cloud Storage. Incluez un caractère générique (*) pour faire correspondre plusieurs fichiers. Par exemple, la chaîne gs://my-bucket/path/to/data/my_prefix_*.csv utilise le caractère générique * pour charger tous les fichiers de gs://my-bucket/path/to/data/ qui commencent par my_prefix_ et se terminent par .csv.

Pour en savoir plus, consultez les ressources suivantes :

SQL

L'exemple suivant montre comment utiliser la requête SQL LOAD DATA pour charger des données CSV d'un bucket Cloud Storage dans une table BigQuery. Pour sélectionner plusieurs noms de fichiers sources, utilisez un caractère générique avec la commande.

LOAD DATA INTO
DATASET_NAME.TABLE_NAME
FROM FILES (
  format = 'SOURCE_FORMAT',
  uris = ['gs://BUCKET_NAME/OBJECT_PATH_WILDCARD]
  );

Remplacez les éléments suivants :

  • DATASET_NAME : nom de l'ensemble de données BigQuery dans lequel vous souhaitez charger les données.
  • TABLE_NAME : nom de la table BigQuery dans laquelle vous souhaitez charger les données.
  • SOURCE_FORMAT définit le type de vos fichiers sources, par exemple CSV ou JSON. Dans cet exemple, utilisez CSV.
  • BUCKET_NAME : nom du bucket Cloud Storage contenant les fichiers sources.
  • OBJECT_PATH_WILDCARD : chemin d'accès à vos fichiers CSV dans le bucket Cloud Storage. Incluez un caractère générique (*) pour faire correspondre plusieurs fichiers. Par exemple, la chaîne gs://my-bucket/path/to/data/my_prefix_*.csv utilise le caractère générique * pour charger tous les fichiers de gs://my-bucket/path/to/data/ qui commencent par my_prefix_ et se terminent par .csv.

Pour en savoir plus, consultez Instructions LOAD en GoogleSQL.

Chargement par lot à l'aide de l'API BigQuery Storage Write (gRPC)

Pour charger des données par lot dans BigQuery, vous pouvez utiliser l'API Storage Write (gRPC) directement depuis votre application avec les bibliothèques clientes des API Google.

L'API Storage Write (gRPC) optimise le chargement des données pour respecter les limites des tables. Pour le streaming en temps réel à volume élevé, utilisez un flux PENDING plutôt qu'un flux COMMITTED. Lorsque vous utilisez un flux PENDING, l'API stocke temporairement les enregistrements jusqu'à ce que vous validiez le flux.

Pour obtenir un exemple complet de chargement de données par lot à l'aide de l'API Storage Write, consultez Charger des données par lot à l'aide de l'API Storage Write.

Chargement par lot à l'aide de Dataflow

Si vous souhaitez diffuser, transformer et écrire des données dans BigQuery à l'aide de pipelines de données, vous pouvez utiliser Dataflow. Les pipelines de données que vous créez lisent les données à partir de sources compatibles telles que Pub/Sub ou Apache Kafka. Vous pouvez également créer un pipeline Dataflow à l'aide du connecteur BigQueryIO, qui utilise l'API Storage Write (gRPC) pour le streaming de données hautes performances et la sémantique de diffusion de type "exactement une fois".

Pour en savoir plus sur l'utilisation de Dataflow pour charger des données par lot dans BigQuery, consultez Écrire des données depuis Dataflow vers BigQuery.

Flux de données

Pour charger de gros volumes de données avec des mises à jour fréquentes, nous vous recommandons de diffuser vos données en flux continu dans BigQuery. Avec le streaming de données, les nouvelles données sont écrites en continu depuis votre application cliente dans BigQuery. Cette stratégie permet d'éviter d'atteindre la limite d'exécution d'un trop grand nombre de jobs de chargement. Les sections suivantes décrivent plusieurs méthodes pour diffuser vos données dans BigQuery.

Diffuser des données à l'aide de l'API Storage Write (gRPC)

Utilisez l'API Storage Write (gRPC) pour insérer des enregistrements en temps réel dans BigQuery avec une latence minimale. L'API Storage Write (gRPC) fournit un protocole de streaming efficace qui offre des fonctionnalités avancées telles que la sémantique de diffusion "exactement une fois", la détection des mises à jour de schéma et les upserts de capture de données modifiées (CDC) en streaming. En outre, vous pouvez ingérer jusqu'à 2 Tio par mois sans frais.

Pour en savoir plus sur l'utilisation de l'API Storage Write (gRPC), consultez Diffuser des données en flux continu à l'aide de l'API Storage Write.

Diffuser des données en flux continu à l'aide de Dataflow

Utilisez Dataflow pour créer des pipelines de données qui lisent des données à partir de sources compatibles, par exemple Pub/Sub ou Apache Kafka. Ces pipelines transforment ensuite les données et les écrivent dans BigQuery en tant que destination. Vous pouvez créer un pipeline Dataflow à l'aide du connecteur BigQueryIO, qui utilise l'API Storage Write (gRPC).

Pour en savoir plus sur l'utilisation de Dataflow pour diffuser des données vers BigQuery, consultez Écrire des données depuis Dataflow vers BigQuery.

Bonnes pratiques pour gérer vos tables pour le chargement

En plus de charger des données par lot ou en flux continu dans BigQuery, gérez vos tables de la manière suivante pour les optimiser pour l'ingestion de données.

Utiliser des tables partitionnées

Le partitionnement de tables est une technique puissante pour gérer des tables volumineuses dans BigQuery, en particulier lorsque vous devez effectuer des opérations de chargement de données fréquentes. Vous pouvez améliorer considérablement les performances et la rentabilité d'une table en la divisant en segments plus petits et plus faciles à gérer, en fonction d'une date, d'un code temporel ou d'un entier.

Le principal avantage du partitionnement pour le chargement des données est que les quotas d'opérations de table quotidiens pour BigQuery s'appliquent au niveau de la partition plutôt qu'au niveau de la table. Pour les tables partitionnées, une limite distincte plus élevée s'applique aux modifications de partition, qui remplace la limite de table standard. La limite pour les tables partitionnées augmente considérablement le nombre de jobs de chargement que vous pouvez exécuter par jour sans atteindre les limites de quota.

Une stratégie courante et très efficace consiste à charger vos données quotidiennes par lot. Par exemple, vous pouvez rassembler toutes les données du jour pour 2025-09-18 dans une table de préproduction temporaire. Ensuite, à la fin de la journée, vous exécutez un seul job pour charger ces données dans la partition spécifique de ce jour dans votre table de production principale. Étant donné que BigQuery n'interagit qu'avec les données d'une seule partition, cette approche permet de bien organiser vos données et d'accélérer et de réduire le coût de vos opérations de chargement.

Bien que le partitionnement soit fortement recommandé pour les tables volumineuses et en croissance, il est préférable de l'éviter si vos partitions sont systématiquement inférieures à 10 Go. Pour en savoir plus, consultez Quand utiliser le partitionnement.

Pour en savoir plus sur les différentes méthodes de partitionnement disponibles, telles que le partitionnement par unité de temps et par plage d'entiers, consultez Types de tables partitionnées.

Profitez de la temporisation de retransmission, de la troncature et de la gigue intégrées

La temporisation de retransmission exponentielle intégrée est une méthode de gestion des exceptions qui permet à votre application de récupérer facilement lorsqu'une opération échoue temporairement. Ces échecs peuvent inclure une erreur de limite de débit (rateLimitExceeded) ou un bref problème réseau (unavailable).

Dans un système fiable, les nœuds de calcul qui récupèrent les tâches de votre file d'attente côté client utilisent également l'intervalle exponentiel entre les tentatives et la relance. Ils le font lorsqu'ils appellent BigQuery, ce qui crée deux niveaux de protection.

Par exemple, la bibliothèque google-cloud-bigquery-storage officielle pour Python inclut une logique de nouvelle tentative intégrée avec intervalle exponentiel entre les tentatives. Cette logique gère les erreurs gRPC temporaires, par exemple UNAVAILABLE. Dans la plupart des cas, vous n'avez pas besoin d'écrire vous-même ce code de nouvelle tentative. L'appel client.append_rows() gère automatiquement ces nouvelles tentatives.

Cette gestion intégrée est un avantage important de l'utilisation des bibliothèques clientes officielles. Vous n'avez à gérer que les erreurs qui ne peuvent pas être relancées, par exemple INVALID_ARGUMENT, ce qui signifie qu'il existe une incompatibilité de schéma.