Migration de Snowflake vers BigQuery
Ce document explique comment migrer de Snowflake vers BigQuery. Les sections suivantes présentent les outils de migration pour vous aider à effectuer une migration vers BigQuery, et décrivent certaines différences entre Snowflake et BigQuery pour vous aider à planifier votre migration.
Migrer des workflows de Snowflake vers BigQuery
Lorsque vous planifiez une migration vers BigQuery, tenez compte des différents workflows que vous avez sur Snowflake et de la manière dont vous pouvez les migrer individuellement. Pour minimiser l'impact sur vos opérations existantes, nous vous recommandons de migrer vos requêtes SQL vers BigQuery, puis de migrer votre schéma et votre code.
Migrer des requêtes SQL
Pour migrer vos requêtes SQL, le service de migration BigQuery propose différentes fonctionnalités de traduction SQL permettant d'automatiser la conversion de vos requêtes SQL Snowflake en requêtes GoogleSQL, telles que le traducteur SQL par lot pour traduire des requêtes de manière groupée, le traducteur SQL interactif pour traduire des requêtes individuelles et l'API SQL Translation. Ces services de traduction incluent également des fonctionnalités améliorées par Gemini pour simplifier davantage le processus de migration de vos requêtes SQL.
Lorsque vous traduisez vos requêtes SQL, examinez attentivement les requêtes traduites pour vérifier que les types de données et les structures de table sont correctement gérés. Pour ce faire, nous vous recommandons de créer un large éventail de scénarios de test avec différents scénarios et données. Exécutez ensuite ces scénarios de test sur BigQuery pour comparer les résultats avec les résultats Snowflake d'origine. S'il existe des différences, analysez et corrigez les requêtes converties.
Migrer le schéma et le code
Pour migrer le schéma et les données depuis Snowflake, utilisez le connecteur Snowflake dans le service de transfert de données BigQuery afin de configurer un transfert de données. Lorsque vous configurez le transfert de données, vous pouvez spécifier les tables Snowflake à inclure, et faire en sorte que le connecteur détecte automatiquement le schéma et les types de données de votre table lors d'un transfert.
Pour en savoir plus sur la configuration d'un transfert de données Snowflake, consultez Planifier un transfert Snowflake.
Transfert incrémentiel
Lorsque vous effectuez un transfert de données Snowflake à l'aide du connecteur Snowflake, vous pouvez configurer un transfert incrémentiel qui ne transfère que les données modifiées depuis le dernier transfert de données, au lieu de charger l'ensemble de données complet à chaque transfert de données. Pour en savoir plus, consultez Planifier un transfert Snowflake.
Migrer d'autres fonctionnalités Snowflake
Tenez compte des fonctionnalités Snowflake suivantes lorsque vous planifiez votre migration vers BigQuery.
| Cas d'utilisation | Élément lié à Snowflake | Fonctionnalité BigQuery |
|---|---|---|
| Préparer des fichiers de données brutes pour le chargement et l'exportation | Les données peuvent être importées et téléchargées dans la zone de préproduction à l'aide des commandes "GET" et "PUT". Les requêtes et les commandes "COPY" peuvent lire et écrire dans des zones de préproduction. | BigQuery s'appuie sur Cloud Storage pour l'organisation des données de fichiers, et permet de lire et d'écrire des données à partir de plusieurs autres sources et services Google Cloud . Utilisez Cloud Storage pour importer et télécharger des fichiers de données brutes. Consultez la page Présentation du chargement de données pour en savoir plus sur les différentes manières de charger des données à partir de Cloud Storage et d'autres sources, et la page Présentation de l'exportation de données pour en savoir plus sur l'exportation vers Cloud Storage et d'autres sources. |
| Précalculer les résultats des requêtes courantes | Les tables dynamiques peuvent être définies avec une requête et actualisées selon un calendrier. | Les vues matérialisées peuvent être configurées pour conserver et actualiser automatiquement le calcul des requêtes SQL. |
| Petites opérations LMD | Les tables hybrides Snowflake permettent de petites écritures LMD. | Le LMD ultraprécis peut être utilisé dans BigQuery pour améliorer la latence et le débit des petites écritures. Pour les cas d'utilisation avancés de traitement hybride transactionnel et analytique (HTAP), envisagez d'utiliser des ensembles de données externes Spanner. |
| Notebooks et visualisation | Les applications Snowflake Streamlit peuvent visualiser des données avec du code Python. | Les notebooks BigQuery et la bibliothèque Python BigFrames peuvent être utilisés pour explorer et visualiser des données en Python. Pour en savoir plus sur les intégrations avec Looker et d'autres outils d'analyse et de visualisation, consultez Présentation des outils d'analyse et d'informatique décisionnelle. |
| Mise en page physique des données | Snowflake est compatible avec le clustering et le micro-partitionnement pour organiser les données sur le disque. | BigQuery est compatible avec le partitionnement et le clustering explicites pour permettre aux utilisateurs de contrôler précisément la façon dont les données sont distribuées et organisées, ce qui peut améliorer les coûts et les performances d'exécution. Le service de traduction SQL gère automatiquement la traduction du clustering de tables et peut être configuré pour personnaliser le partitionnement et le clustering lors de la migration des LDD. |
| Fonctions et procédures externes | Snowflake est compatible avec les fonctions et les procédures stockées implémentées dans plusieurs langages externes. | BigQuery accepte les appels de fonction externes via les fonctions Cloud Run. Vous pouvez également utiliser des [fonctions définies par l'utilisateur](/bigquery/docs/user-defined-functions) (UDF), telles que les UDF SQL, qui sont exécutées dans BigQuery. BigQuery est compatible avec SQL pour les procédures stockées. Pour les autres langages, nous vous recommandons d'utiliser des fonctions externes ou une logique d'application côté client. |
Fonctionnalités de sécurité de BigQuery
Lorsque vous migrez de Snowflake vers BigQuery, tenez compte de la manière dontGoogle Cloud gère la sécurité différemment de Snowflake.
La sécurité dans BigQuery est intrinsèquement liée à Identity and Access Management (IAM) dans Google Cloud. Les droits IAM définissent les opérations autorisées sur une ressource et sont appliqués au niveau Google Cloud , ce qui permet une approche centralisée et cohérente de la gestion de la sécurité. Voici quelques-unes des principales fonctionnalités de sécurité de Google Cloud :
- Sécurité intégrée : BigQuery exploite les fonctionnalités de sécurité de Google Cloud. Cela inclut IAM pour un contrôle des accès précis, afin d'assurer une intégration de la sécurité robuste et fluide.
- Sécurité au niveau des ressources : IAM se concentre sur le contrôle des accès au niveau des ressources, en accordant des autorisations aux utilisateurs et aux groupes pour différentes ressources et différents services BigQuery. Cette approche permet de gérer efficacement les droits d'accès afin que les utilisateurs ne disposent que des autorisations nécessaires pour effectuer leurs tâches.
- Sécurité du réseau : BigQuery bénéficie des fonctionnalités de sécurité réseau robustes de Google Cloud, telles que le cloud privé virtuel et les connexions privées.
Lorsque vous migrez de Snowflake vers BigQuery, tenez compte des exigences de migration suivantes liées à la sécurité :
- Configuration IAM : vous devez configurer les rôles et les autorisations IAM dans BigQuery pour qu'ils correspondent à vos règles de contrôle des accès Snowflake existantes. Cela implique de mapper les rôles Snowflake aux rôles et autorisations IAM BigQuery appropriés.
- Contrôle ultraprécis des accès : si vous utilisez la sécurité au niveau des lignes ou des colonnes dans Snowflake, vous devez implémenter des contrôles équivalents dans BigQuery à l'aide de vues autorisées ou de tags avec stratégie.
- Migration des vues et des fonctions définies par l&#UDF;utilisateur : lors de la migration des vues et des fonctions définies par l'utilisateur, vérifiez que les contrôles de sécurité associés sont correctement traduits en vues autorisées et en fonctions définies par l'utilisateur autorisées dans BigQuery.
Chiffrement
BigQuery chiffre vos données au repos et en transit par défaut. Si vous avez besoin de davantage de contrôle sur les clés de chiffrement, BigQuery est compatible avec les clés de chiffrement gérées par le client dans Cloud Key Management Service. Vous pouvez également utiliser le chiffrement au niveau des colonnes.
Pour assurer la sécurité des données pendant et après la migration vers BigQuery, tenez compte des points suivants :
- Gestion des clés : si vous avez besoin de clés gérées par le client, établissez une stratégie de gestion des clés dans Cloud Key Management Service et configurez BigQuery pour qu'il utilise ces clés.
- Masquage/Tokenisation des données : si des données sensibles sont impliquées, déterminez si le masquage ou la tokenisation des données est nécessaire pour les protéger.
- Sécurité au niveau des lignes : implémentez la sécurité au niveau des lignes à l'aide de vues autorisées, de filtres de sécurité au niveau des lignes ou d'autres méthodes appropriées.
- Analyse des failles et tests d'intrusion : effectuez régulièrement des analyses des failles et des tests d'intrusion pour vérifier la stratégie de sécurité de votre environnement BigQuery.
Rôles
Les rôles sont les entités pour lesquelles les droits sur les objets sécurisés peuvent être accordés et révoqués.
Au sein d'IAM, les autorisations sont regroupées dans des rôles. IAM propose trois types de rôles :
- Rôles de base : ces rôles incluent les rôles "Propriétaire", "Éditeur" et "Lecteur". Vous pouvez appliquer ces rôles au niveau des ressources du projet ou du service à l'aide de la consoleGoogle Cloud , de l'API Identity and Access Management ou de
gcloud CLI. En règle générale, pour renforcer la sécurité, nous recommandons d'utiliser les rôles prédéfinis afin de respecter le principe du moindre privilège. - Rôles prédéfinis : ces rôles fournissent un accès plus précis aux fonctionnalités d'un produit (tel que BigQuery). Ils sont conçus pour des cas d'utilisation courants et des modèles de contrôle des accès.
- Rôles personnalisés: ces rôles sont composés d'autorisations spécifiées par l'utilisateur.
Contrôle des accès
Snowflake vous permet d'attribuer des rôles à d'autres rôles, créant ainsi une hiérarchie de rôles. IAM n'est pas compatible avec une hiérarchie de rôles, mais met en œuvre une hiérarchie de ressources. La hiérarchie IAM inclut les niveaux de l'organisation, du dossier, du projet et des ressources. Vous pouvez définir des rôles IAM à n'importe quel niveau de la hiérarchie. Les ressources héritent de toutes les stratégies de leurs ressources parentes.
BigQuery est compatible avec le contrôle des accès au niveau de la table. Les autorisations au niveau de la table déterminent les utilisateurs, les groupes et les comptes de service autorisés à accéder à une table ou à une vue. Vous pouvez autoriser un utilisateur à accéder à des tables ou des vues spécifiques, sans lui accorder l'accès à l'ensemble de données entier.
Pour un accès plus précis, vous pouvez également utiliser le contrôle des accès au niveau des colonnes ou la sécurité au niveau des lignes. Ce type de contrôle fournit un accès précis aux colonnes sensibles à l'aide de tags avec stratégie ou de classifications de données basées sur le type.
Vous pouvez également créer des vues autorisées afin de limiter l'accès aux données et ainsi d'appliquer contrôle des accès plus précis. Cela permet aux utilisateurs spécifiés d'interroger une vue sans avoir accès en lecture aux tables sous-jacentes.
Types de données, de propriétés et de formats de fichiers compatibles
Snowflake et BigQuery sont compatibles avec la plupart des mêmes types de données, bien qu'ils utilisent parfois des noms différents. Pour obtenir la liste complète des types de données compatibles avec Snowflake et BigQuery, consultez Types de données. Vous pouvez également utiliser des outils de traduction SQL, tels que le traducteur SQL interactif, l'API de traduction SQL ou le traducteur SQL par lot, pour traduire différents dialectes SQL en GoogleSQL.
Pour en savoir plus sur les types de données compatibles avec BigQuery, consultez Types de données GoogleSQL.
Snowflake peut exporter des données aux formats de fichier suivants : Vous pouvez charger les formats suivants directement dans BigQuery :
- Charger des données CSV à partir de Cloud Storage
- Charger des données Parquet depuis Cloud Storage
- Charger des données JSON à partir de Cloud Storage
- Interroger des données à partir d'Apache Iceberg
Outils de migration
La liste suivante décrit les outils que vous pouvez utiliser pour migrer des données depuis Snowflake vers BigQuery. Pour obtenir des exemples d'utilisation de ces outils dans un pipeline de migration Snowflake, consultez Exemples de pipelines de migration Snowflake.
- Commande
COPY INTO <location>: utilisez cette commande dans Snowflake pour extraire les données d'une table Snowflake directement dans un bucket Cloud Storage spécifié. Pour obtenir un exemple de bout en bout, consultez la page Snowflake vers BigQuery (snowflake2bq) sur GitHub. - Apache Sqoop : pour extraire les données de Snowflake dans HDFS ou Cloud Storage, envoyez des tâches Hadoop avec le pilote JDBC de Sqoop et de Snowflake. Sqoop s'exécute dans un environnement Managed Service pour Apache Spark.
- Pilote JDBC de Snowflake : utilisez ce pilote avec la plupart des outils clients ou des applications compatibles avec JDBC.
Vous pouvez utiliser les outils génériques suivants pour migrer des données depuis Snowflake vers BigQuery :
- Connecteur du service de transfert de données BigQuery pour Snowflake : effectuez un transfert par lot automatisé de données Cloud Storage vers BigQuery.
- Google Cloud CLI : copiez les fichiers Snowflake téléchargés dans Cloud Storage à l'aide de cet outil de ligne de commande.
- Outil de ligne de commande bq : interagissez avec BigQuery à l'aide de cet outil de ligne de commande. Les cas d'utilisation courants incluent la création de schémas de table BigQuery, le chargement de données Cloud Storage dans des tables et l'exécution de requêtes.
- Bibliothèques clientes Cloud Storage: copiez les fichiers Snowflake téléchargés dans Cloud Storage à l'aide d'un outil personnalisé qui utilise les bibliothèques clientes Cloud Storage.
- Bibliothèques clientes BigQuery: interagissez avec BigQuery à l'aide d'un outil personnalisé basé sur la bibliothèque cliente BigQuery.
- Programmeur de requêtes BigQuery : programmez des requêtes SQL récurrentes grâce à cette fonctionnalité BigQuery intégrée.
- Managed Service pour Apache Airflow : utilisez cet environnement Apache Airflow entièrement géré pour orchestrer des jobs de chargement et des transformations BigQuery.
Pour en savoir plus sur le chargement des données dans BigQuery, consultez la page Charger des données dans BigQuery.
Tarifs
Lorsque vous planifiez votre migration Snowflake, tenez compte du coût du transfert de données, du stockage de données et de l'utilisation des services dans BigQuery. Pour en savoir plus, reportez-vous à la page Tarifs.
Le transfert de données hors de Snowflake ou d'AWS peut entraîner des frais de sortie. Des coûts supplémentaires peuvent également s'appliquer lors du transfert de données entre régions ou entre différents fournisseurs de services cloud.
Commencer
Les sections suivantes résument le processus de migration de Snowflake vers BigQuery :
Exécuter une évaluation de la migration
Pour votre migration de Snowflake vers BigQuery, nous vous recommandons de commencer par exécuter l'outil d'évaluation de la migration BigQuery afin d'évaluer la faisabilité et les avantages potentiels de la migration de votre entrepôt de données de Snowflake vers BigQuery. Cet outil fournit une approche structurée pour comprendre votre environnement Snowflake actuel et estimer l'effort nécessaire pour réussir la migration.
L'exécution de l'outil d'évaluation de la migration BigQuery génère un rapport d'évaluation contenant les sections suivantes :
- Rapport sur le système existant : instantané du système Snowflake existant et de son utilisation, y compris le nombre de bases de données, de schémas et de tables, et la taille totale en To. Il répertorie également les schémas par taille et pointe vers une utilisation potentiellement sous-optimale des ressources (tables sans écriture ou peu de lectures).
- Suggestions de transformation vers l'état stable de BigQuery : montre à quoi ressemblera le système dans BigQuery après la migration. Il inclut des suggestions pour optimiser les charges de travail dans BigQuery et éviter les gaspillages.
- Plan de migration : fournit des informations sur l'effort de migration lui-même. Par exemple, passer du système existant à l'état stable de BigQuery. Cette section inclut le nombre de requêtes traduites automatiquement, ainsi que le temps nécessaire pour déplacer chaque table vers BigQuery.
Pour en savoir plus sur les résultats d'une évaluation de migration, consultez Examiner le rapport Data Studio.
Valider votre migration
Une fois que vous avez migré vos données Snowflake vers BigQuery, exécutez l'outil de validation des données (DVT) pour effectuer une validation des données sur vos données BigQuery récemment migrées. Le DVT valide diverses fonctions, du niveau des tables au niveau des lignes, pour vérifier que vos données migrées fonctionnent comme prévu.