Présentation du service de transfert de données BigQuery
Le service de transfert de données BigQuery vous permet d'automatiser les transferts de données planifiés et gérés vers BigQuery. Une fois qu'un transfert de données est configuré, les données sont automatiquement chargées dans BigQuery par le service de transfert de données BigQuery. Vous pouvez également lancer des remplissages de données pour la récupération en cas d'indisponibilité ou pour combler des écarts, effectuer des copies d'ensembles de données et exécuter des requêtes programmées. Le service de transfert de données BigQuery ne permet pas de transférer des données hors de BigQuery.
Pour configurer et gérer les transferts, vous pouvez utiliser la consoleGoogle Cloud , l'outil de ligne de commande bq ou l'API du service de transfert de données BigQuery. La page Pipelines et connexions propose également un workflow simplifié (preview) pour créer des transferts. Pour recevoir des informations sur les mises à jour du service, abonnez-vous au groupe d'annonces du service de transfert de données BigQuery.
Sources de données prises en charge
Le service de transfert de données BigQuery permet le chargement de données à partir des sources de données suivantes :
| Catégorie | Source de données |
|---|---|
| Cloud Storage | Amazon Simple Storage Service (Amazon S3) |
| Cloud Storage | Azure Blob Storage |
| Cloud Storage | Cloud Storage |
| Bases de données et entrepôts de données | Amazon Redshift |
| Bases de données et entrepôts de données | Métastore Apache Hive |
| Bases de données et entrepôts de données | Microsoft SQL Server (preview) |
| Bases de données et entrepôts de données | MySQL |
| Bases de données et entrepôts de données | Oracle |
| Bases de données et entrepôts de données | PostgreSQL |
| Bases de données et entrepôts de données | Snowflake |
| Bases de données et entrepôts de données | Teradata |
| Services Google | Campaign Manager |
| Services Google | Comparison Shopping Service (CSS) Center (Preview) |
| Services Google | Display & Video 360 |
| Services Google | Google Ad Manager |
| Services Google | Google Ads |
| Services Google | Google Analytics 4 |
| Services Google | Google Merchant Center (preview) |
| Services Google | Google Play |
| Services Google | Search Ads 360 |
| Services Google | Chaîne YouTube |
| Services Google | Propriétaire de contenu YouTube |
| Plates-formes marketing | Facebook Ads |
| Plates-formes marketing | HubSpot (aperçu) |
| Plates-formes marketing | Klaviyo (aperçu) |
| Plates-formes marketing | Mailchimp (aperçu) |
| Plates-formes de paiement | PayPal (aperçu) |
| Plates-formes de paiement | Shopify (preview) |
| Plates-formes de paiement | Stripe (Preview) |
| Plates-formes SaaS | Salesforce |
| Plates-formes SaaS | Salesforce Marketing Cloud |
| Plates-formes SaaS | ServiceNow |
Points à prendre en compte concernant le SLO de diffusion des données
Le SLO de distribution des données s'applique aux transferts de données programmés automatiquement à l'aide du service de transfert de données BigQuery à partir de sources dans Google Cloud.
Pour les transferts de données impliquant des sources tierces ou non-Google Cloud , les interruptions de service de ces sources peuvent avoir un impact sur les performances du service de transfert de données BigQuery. Par conséquent, le SLO de livraison des données ne s'applique pas aux transferts de données du service de transfert de données BigQuery à partir de sources non-Google Cloud .
Régions où le service est disponible
Tout comme BigQuery, le service de transfert de données BigQuery est une ressource multirégionale disposant de nombreuses régions uniques supplémentaires.
La localité d'un ensemble de données BigQuery est spécifiée lorsque vous créez un ensemble de données de destination pour stocker les données transférées par le service de transfert de données BigQuery. Lorsque vous configurez un transfert, la configuration de transfert elle-même est définie sur le même emplacement que l'ensemble de données de destination. Le service de transfert de données BigQuery traite et classe les données au même emplacement que l'ensemble de données de destination.
Le service de transfert de données BigQuery permet de transférer des données depuis n'importe quelle région où vos données sont stockées vers n'importe quel emplacement où se trouve votre ensemble de données de destination.
Pour en savoir plus sur les transferts et la compatibilité des régions pour le Service de transfert de données BigQuery, consultez la page Emplacement des ensembles de données et transferts. Pour connaître les régions compatibles avec BigQuery, consultez la section Emplacements des ensembles de données.
Utiliser des emplacements de réservation avec des transferts de données
Les jobs déclenchés par le service de transfert de données BigQuery n'utilisent des emplacements de réservation que si le projet, le dossier ou l'organisation est attribué à une réservation avec l'un des types de jobs suivants :
- Interroger des jobs à l'aide de
QUERY - Charger des jobs à l'aide de
PIPELINE
Tarifs
Pour plus d'informations sur la tarification du service de transfert de données BigQuery, consultez la page Tarifs.
Une fois les données transférées vers BigQuery, les tarifs standards pour le stockage et les requêtes BigQuery s'appliquent.
Quotas
Pour en savoir plus sur les quotas appliqués au service de transfert de données BigQuery, consultez la page Quotas et limites.
Résoudre les problèmes liés aux configurations de transfert
Pour en savoir plus sur la résolution des problèmes liés au service de transfert de données BigQuery, consultez Résoudre les problèmes liés aux configurations de transfert.
Étapes suivantes
- Consultez la documentation correspondant à votre source de données pour savoir comment créer un transfert.