Programa una transferencia de Snowflake
El conector de Snowflake que proporciona el Servicio de transferencia de datos de BigQuery te permite programar y administrar trabajos de transferencia automatizados para migrar datos de Snowflake a BigQuery con listas de IPs públicas permitidas.
Descripción general
El conector de Snowflake involucra agentes de migración en Google Kubernetes Engine y activa una operación de carga de Snowflake a un área de etapa de pruebas dentro del bucket de Cloud Storage.
- Para las cuentas de Snowflake alojadas en Amazon Web Services (AWS), Azure o Google Cloud, los datos se almacenan primero en tu bucket de Cloud Storage, que luego se transfiere a BigQuery con el Servicio de transferencia de datos de BigQuery.
En el siguiente diagrama, se ilustran las transferencias de datos públicos desde cuentas de Snowflake alojadas en Amazon Web Services (AWS) o Azure, o cuentas de Snowflake alojadas en Google Cloud.

Limitaciones
Las transferencias de datos realizadas con el conector de Snowflake están sujetas a las siguientes limitaciones:
- El conector de Snowflake solo admite transferencias desde tablas dentro de una sola base de datos y esquema de Snowflake. Para transferir datos desde tablas con varias bases de datos o esquemas de Snowflake, puedes configurar cada trabajo de transferencia por separado.
- La velocidad de carga de datos de Snowflake en tu bucket de Amazon S3, contenedor de Azure Blob Storage o bucket de Cloud Storage está limitada por el almacén de Snowflake que elegiste para esta transferencia.
- BigQuery escribe datos de Snowflake en
Cloud Storage como archivos de Parquet. Los archivos Parquet no admiten los tipos de datos
TIMESTAMP_TZniTIMESTAMP_LTZ. Si tus datos contienen estos tipos, puedes exportarlos a Amazon S3 como archivos CSV y, luego, importarlos a BigQuery. Para obtener más información, consulta Introducción a las transferencias de datos de Amazon S3.
Antes de comenzar
En las siguientes secciones, se describen los pasos que debes seguir para configurar una transferencia de Snowflake.
Prepara tu proyecto de Google Cloud
Crea y configura tu proyecto de Google Cloud para una transferencia de Snowflake con los siguientes pasos:
Crea un proyecto de Google Cloud o selecciona uno existente.
Verifica que completaste todas las acciones obligatorias para habilitar el Servicio de transferencia de datos de BigQuery.
Crea un conjunto de datos de BigQuery para almacenar tus datos. No es necesario crear ninguna tabla.
Obtén los roles de IAM necesarios
Para crear y administrar transferencias de datos de Snowflake, todas las cuentas de usuario y de servicio requeridas deben tener los roles que se describen en la siguiente tabla:
| Identidad | Rol | Recurso objetivo |
|---|---|---|
| Cuenta de usuario | roles/bigquery.user |
Google Cloud proyecto |
| Cuenta de usuario | roles/bigquery.dataOwner |
Conjunto de datos de BigQuery de destino |
| Cuenta de usuario | roles/iam.serviceAccountUser |
Cuenta de servicio dedicada |
| Cuenta de servicio dedicada | roles/storage.objectViewer |
Bucket de Cloud Storage de etapa de pruebas y el bucket o los buckets que contienen los archivos de asignación de esquemas |
| Agente de servicio del Servicio de transferencia de datos de BigQuery | roles/storage.objectViewer |
Bucket de Cloud Storage de etapa de pruebas |
| Agente de servicio del Servicio de transferencia de datos de BigQuery | roles/bigquery.dataEditor |
Conjunto de datos de BigQuery de destino |
| Agente de servicio del Servicio de transferencia de datos de BigQuery | roles/iam.serviceAccountTokenCreator |
Cuenta de servicio dedicada, si usas una cuenta de servicio entre proyectos |
| Cuenta de servicio de Snowflake Google Cloud | roles/storage.objectUser |
Bucket de Cloud Storage de etapa de pruebas |
| Cuenta de servicio de Snowflake Google Cloud | roles/storage.bucketViewer |
Bucket de Cloud Storage de etapa de pruebas |
En las siguientes secciones, se proporcionan más detalles sobre los roles y permisos necesarios para cada identidad.
Obtén permisos de la cuenta de usuario
Para obtener los permisos que necesitas para crear y administrar parámetros de configuración de transferencia, y ejecutar trabajos con una cuenta de usuario, pídele a tu administrador que te otorgue los siguientes roles de IAM:
-
Crea y administra parámetros de configuración de transferencia, y ejecuta trabajos:
Usuario de BigQuery (
roles/bigquery.user) en el proyecto -
Administrar y otorgar acceso al conjunto de datos de destino:
Propietario de datos de BigQuery (
roles/bigquery.dataOwner) en el conjunto de datos de BigQuery de destino -
Crea o actualiza parámetros de configuración de transferencia con una cuenta de servicio dedicada:
Usuario de cuenta de servicio (
roles/iam.serviceAccountUser) en la cuenta de servicio dedicada
Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.
Estos roles predefinidos contienen los permisos necesarios para crear y administrar parámetros de configuración de transferencia, y ejecutar trabajos con una cuenta de usuario. Para ver los permisos exactos que son necesarios, expande la sección Permisos requeridos:
Permisos necesarios
Se requieren los siguientes permisos para crear y administrar parámetros de configuración de transferencia, y ejecutar trabajos con una cuenta de usuario:
-
bigquery.transfers.get -
bigquery.transfers.update -
bigquery.datasets.get -
bigquery.datasets.getIamPolicy -
bigquery.datasets.update -
bigquery.jobs.create -
bigquery.datasets.setIamPolicy -
iam.serviceAccounts.actAs
También puedes obtener estos permisos con roles personalizados o con otros roles predefinidos.
Obtén permisos de cuenta de servicio dedicada
Para asegurarte de que la cuenta de servicio dedicada tenga los permisos necesarios
para usar una cuenta de servicio que lea los metadatos de traducción, el esquema personalizado o los archivos de etapa de pruebas durante la ejecución de la transferencia,
pídele a tu administrador que otorgue el
rol de IAM de visualizador de objetos de Storage (roles/storage.objectViewer) a la cuenta de servicio dedicada en el bucket de etapa de pruebas de Cloud Storage y en el bucket o los buckets que contienen los archivos de asignación de esquemas.
Obtén permisos de agente de servicio del Servicio de transferencia de datos de BigQuery
Para garantizar que el agente de servicio del Servicio de transferencia de datos de BigQuery tenga los permisos necesarios para usar un agente de servicio que ejecute la transferencia, pídele a tu administrador que otorgue los siguientes roles de IAM al agente de servicio del Servicio de transferencia de datos de BigQuery:
-
Lee archivos de datos descargados durante la ejecución de la transferencia:
Visualizador de objetos de Storage (
roles/storage.objectViewer) en el bucket de etapa de pruebas de Cloud Storage -
Escribir datos transferidos en tablas de destino:
Editor de datos de BigQuery (
roles/bigquery.dataEditor) en el conjunto de datos de BigQuery de destino -
Autoriza las transferencias que usan una cuenta de servicio entre proyectos:
Creador de tokens de cuenta de servicio (
roles/iam.serviceAccountTokenCreator) en la cuenta de servicio dedicada entre proyectos
Si la cuenta de servicio dedicada se encuentra en el mismo proyecto en el que está habilitado el
Servicio de transferencia de datos de BigQuery, Google otorga automáticamente el permiso
iam.serviceAccounts.getAccessToken requerido. Solo debes otorgar el rol de creador de tokens de cuenta de servicio (roles/iam.serviceAccountTokenCreator) de forma manual si la cuenta de servicio dedicada se encuentra en un proyecto diferente. Para obtener más
información, consulta
Autorización de cuentas de servicio entre proyectos.
Obtén los permisos de la cuenta de servicio de Snowflake Google Cloud
Para garantizar que la cuenta de servicio de Snowflake Google Cloud tenga los permisos necesarios para escribir y administrar archivos de datos descargados en el bucket de etapa de pruebas, pídele a tu administrador que otorgue los siguientes roles de IAM a la cuenta de servicio de Snowflake Google Cloud en el bucket de etapa de pruebas de Cloud Storage:
- Usuario de objetos de almacenamiento (
roles/storage.objectUser) - Visualizador de buckets de almacenamiento (
roles/storage.bucketViewer)
Estos roles predefinidos contienen los permisos necesarios para escribir y administrar archivos de datos descargados en el bucket de etapa de pruebas. Para ver los permisos exactos que son necesarios, expande la sección Permisos requeridos:
Permisos necesarios
Se requieren los siguientes permisos para escribir y administrar archivos de datos descargados en el bucket de etapa de pruebas:
-
storage.buckets.get -
storage.objects.get -
storage.objects.create -
storage.objects.delete -
storage.objects.list
Prepara el bucket de etapa de pruebas
Para prepararte para una transferencia de datos de Snowflake, crea un bucket de etapa de pruebas y, luego, configúralo para permitir el acceso de escritura desde Snowflake. Debes almacenar en etapa intermedia los datos de Snowflake en un bucket de Cloud Storage antes de poder cargarlos en BigQuery. El bucket de etapa de pruebas no debe tener habilitada la función de espacio de nombres jerárquico.
Para crear y configurar un bucket de etapa de pruebas, haz lo siguiente:
- Crea buckets de Cloud Storage.
Crea y configura un objeto de integración de almacenamiento de Snowflake para permitir que Snowflake escriba datos en el bucket de Cloud Storage como una etapa externa.
CREATE STORAGE INTEGRATION STORAGE_INTEGRATION_NAME TYPE = EXTERNAL_STAGE STORAGE_PROVIDER = 'GCS' ENABLED = TRUE STORAGE_ALLOWED_LOCATIONS = ('gcs://STAGING_BUCKET_NAME/'); -- Describe integration to retrieve Snowflake Google Cloud service account DESCRIBE INTEGRATION STORAGE_INTEGRATION_NAME;
Reemplaza lo siguiente:
STORAGE_INTEGRATION_NAME: Es el nombre del objeto de integración de almacenamiento nuevo.STAGING_BUCKET_NAME: Es el nombre del bucket de Cloud Storage que creaste.
Cuando ejecutas el comando
DESCRIBE INTEGRATION, la cuenta de servicio de Cloud Storage aparece en el campoSTORAGE_GCP_SERVICE_ACCOUNT. Otorga a la cuenta de servicio de Cloud Storage los siguientes permisos en el bucket de Cloud Storage:storage.buckets.getstorage.objects.createstorage.objects.deletestorage.objects.getstorage.objects.list
Para permitir el acceso al bucket de etapa de pruebas, otorga al agente de servicio del Servicio de transferencia de datos de BigQuery el rol
roles/storage.objectViewer:gcloud storage buckets add-iam-policy-binding gs://STAGING_BUCKET_NAME \ --member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer. \ --role=roles/storage.objectViewer
Para una transferencia de datos privada de Snowflake, crea el bucket de etapa de pruebas y configúralo para la conectividad privada.
Si tu organización de Google Cloud aplica el uso compartido restringido por dominio con
la restricción constraints/iam.allowedPolicyMemberDomains, el otorgamiento
de roles de IAM en el bucket de etapa de pruebas a la
cuenta de servicio deSTORAGE_GCP_SERVICE_ACCOUNT falla porque esa cuenta de servicio
pertenece a la organización externa de Snowflake.
No puedes derivar el ID de cliente de Google Workspace de Snowflake de la dirección de correo electrónico de la cuenta de servicio. Obtén el ID de cliente de una de las siguientes maneras:
- Si tu cuenta de Snowflake se aloja en Google Cloud, ejecuta
SELECT SYSTEM$GET_SNOWFLAKE_PLATFORM_INFO();en Snowflake con el rolACCOUNTADMINy busca el valorsnowflake-customer-directory-iden el resultado. - Si tu cuenta de Snowflake se aloja en AWS o
Azure, comunícate con el equipo de asistencia de Snowflake para solicitar el
ID de cliente de Google Workspace de tu cuenta de servicio de
STORAGE_GCP_SERVICE_ACCOUNT.
Para agregar el ID de cliente de Snowflake a la lista de entidades permitidas de tu proyecto, actualiza la política de la organización:
gcloud resource-manager org-policies allow \ iam.allowedPolicyMemberDomains EXTERNAL_CUSTOMER_ID \ --project=PROJECT_ID
Reemplaza lo siguiente:
EXTERNAL_CUSTOMER_ID: Es el ID de cliente de Google Workspace de Snowflake.PROJECT_ID: Es el ID del proyecto de Google Cloud que contiene tu bucket de etapa de pruebas.
Para obtener más información, consulta Restringe identidades con el uso compartido restringido por dominio.
Crea un usuario de Snowflake con los permisos necesarios
Durante una transferencia de Snowflake, el conector de Snowflake se conecta a tu cuenta de Snowflake con una conexión JDBC. Debes crear un usuario de Snowflake nuevo con un rol personalizado que solo tenga los privilegios necesarios para realizar la transferencia de datos.
En la siguiente tabla, se enumeran los roles y privilegios necesarios para el rol personalizado
llamado MIGRATION_ROLE:
| Identidad | Rol o privilegio | Recurso objetivo | Objetivo |
|---|---|---|---|
| Usuario de migración | MIGRATION_ROLE |
Cuenta de Snowflake | Autenticarte con un par de claves RSA y ejecutar operaciones de migración |
| Rol de migración | USAGE |
Almacén de Snowflake | Proporciona capacidad de procesamiento para la ejecución de consultas. |
USAGE |
Base de datos y esquema de Snowflake | Accede a la base de datos y al esquema que contienen las tablas de origen. | |
SELECT |
Tablas de origen | Lee los metadatos de las tablas y extrae los datos para la transferencia. | |
USAGE |
Integración de almacenamiento | Autoriza la descarga de datos en el bucket de etapa de pruebas externo de Cloud Storage. |
Para crear y configurar el rol personalizado y el usuario de migración, ejecuta los siguientes comandos de SQL en tu cuenta de Snowflake:
Crea el rol personalizado
MIGRATION_ROLE:CREATE ROLE MIGRATION_ROLE;
Reemplaza
MIGRATION_ROLEpor el nombre del rol personalizado que estás creando.Otorga al rol personalizado los permisos necesarios:
GRANT USAGE ON WAREHOUSE WAREHOUSE_NAME TO ROLE MIGRATION_ROLE; GRANT USAGE ON DATABASE DATABASE_NAME TO ROLE MIGRATION_ROLE; GRANT USAGE ON SCHEMA DATABASE_NAME.SCHEMA_NAME TO ROLE MIGRATION_ROLE; GRANT SELECT ON ALL TABLES IN SCHEMA DATABASE_NAME.SCHEMA_NAME TO ROLE MIGRATION_ROLE; GRANT USAGE ON INTEGRATION STORAGE_INTEGRATION_OBJECT_NAME TO ROLE MIGRATION_ROLE;
Reemplaza lo siguiente:
WAREHOUSE_NAME: Es el nombre de tu almacén de datos.DATABASE_NAME: Es el nombre de tu base de datos de Snowflake.SCHEMA_NAME: el nombre de tu esquema de Snowflake.STORAGE_INTEGRATION_OBJECT_NAME: Es el nombre de tu objeto de integración de almacenamiento de Snowflake.
Crea el usuario de migración como un usuario de servicio:
CREATE USER MIGRATION_USER TYPE = SERVICE;
Reemplaza
MIGRATION_USERpor el nombre de usuario del usuario de migración. Si configurasTYPE = SERVICE, se crea un usuario de servicio que se autentica con un par de claves y está exento de la autenticación de varios factores (MFA) interactiva.Asigna el rol personalizado al usuario de migración:
GRANT ROLE MIGRATION_ROLE TO USER MIGRATION_USER; ALTER USER MIGRATION_USER SET DEFAULT_ROLE = MIGRATION_ROLE;
Genera un par de claves para la autenticación
Debido a que Snowflake dejó de admitir los accesos con contraseña de un solo factor, te recomendamos que uses un par de claves para la autenticación. Para configurar un par de claves, haz lo siguiente:
Genera una clave privada PKCS#8 de 2,048 bits en formato PEM. Elige si deseas generar una clave privada encriptada o sin encriptar:
Para generar una clave privada sin encriptar, ejecuta el siguiente comando:
openssl genrsa 2048 | openssl pkcs8 -topk8 -inform PEM -out rsa_key.p8 -nocrypt
Para generar una clave privada encriptada, ejecuta el siguiente comando y, luego, ingresa una frase de contraseña cuando se te solicite:
openssl genrsa 2048 | openssl pkcs8 -topk8 -v2 des3 -inform PEM -out rsa_key.p8
Genera la clave pública correspondiente:
openssl rsa -in rsa_key.p8 -pubout -out rsa_key.pub
Asigna la clave pública, sin incluir el encabezado, el pie de página ni los saltos de línea, a tu usuario de migración de Snowflake:
ALTER USER MIGRATION_USER SET RSA_PUBLIC_KEY='PUBLIC_KEY_STRING';
Reemplaza
PUBLIC_KEY_STRINGpor el cuerpo de la clave pública generada en el archivorsa_key.pub.
Para obtener más información, consulta Configura la autenticación de par de claves.
Permite la descarga en ubicaciones externas intercaladas
El conector de Snowflake descarga datos en ubicaciones externas intercaladas durante la transferencia. Si tu cuenta de Snowflake restringe la descarga a ubicaciones intercaladas, la transferencia fallará.
Para permitir la descarga en ubicaciones intercaladas, ejecuta el siguiente comando de SQL en tu
cuenta de Snowflake. Debes tener el rol ACCOUNTADMIN en
Snowflake para ejecutar este comando.
ALTER ACCOUNT SET PREVENT_UNLOAD_TO_INLINE_URL = false;
Como alternativa, puedes usar SET para permitir la descarga en el usuario de migración con
el siguiente comando:
ALTER USER MIGRATION_USER SET PREVENT_UNLOAD_TO_INLINE_URL = false;
Reemplaza MIGRATION_USER por el nombre de usuario del usuario de migración.
Requisitos previos adicionales para parámetros de configuración opcionales
Para configurar funciones opcionales para tu transferencia de Snowflake, como la conectividad privada o las transferencias incrementales, debes completar estos requisitos previos que se describen en las siguientes secciones.
Agrega políticas de red
Para la conectividad pública, la cuenta de Snowflake permite la conexión pública con las credenciales de la base de datos de forma predeterminada. Sin embargo, es posible que hayas configurado reglas o políticas de red que podrían impedir que el conector de Snowflake se conecte a tu cuenta. En este caso, debes agregar las direcciones IP necesarias a tu lista de entidades permitidas. Para obtener más información, consulta Configura políticas de red para las transferencias de Snowflake.
Detección y asignación de esquemas
Para definir tu esquema, puedes usar el Servicio de transferencia de datos de BigQuery para detectar automáticamente el esquema y la asignación de tipos de datos cuando transfieras datos de Snowflake a BigQuery. Como alternativa, puedes usar el motor de traducción para definir tu esquema y los tipos de datos de forma manual.
Para obtener más información, consulta Detección y asignación de esquemas para Snowflake.
Habilita las transferencias incrementales
Para configurar una transferencia de datos incremental de Snowflake, consulta Configura transferencias incrementales para Snowflake.
Habilita la conectividad privada
Si quieres crear una transferencia de datos privada de Snowflake, debes configurar tu red para la conectividad privada.
Configura una transferencia de Snowflake
Antes de configurar una transferencia de Snowflake, asegúrate de tener la siguiente información:
- Es el identificador de tu cuenta de Snowflake, que es el prefijo de la URL de tu cuenta de Snowflake. Por ejemplo,
ACCOUNT_IDENTIFIER.snowflakecomputing.com. - El nombre de usuario y la clave privada asociada con los permisos adecuados para tu base de datos de Snowflake. Solo puede tener los permisos necesarios para ejecutar la transferencia de datos.
- El URI del bucket de etapa de pruebas que se usará para la transferencia. Te recomendamos que configures una política de ciclo de vida para este bucket para evitar cargos innecesarios.
- Es el URI del bucket de Cloud Storage en el que almacenaste los archivos de asignación de esquemas obtenidos del motor de traducción.
Para crear una configuración de transferencia de Snowflake, haz lo siguiente:
Console
Ve a la página Transferencia de datos en la consola de Google Cloud .
Haz clic en Crear transferencia.
En la sección Tipo de fuente, selecciona Migración de Snowflake en la lista Fuente.
En la sección Transfer config name (Nombre de la configuración de transferencia), ingresa un nombre para la transferencia, como
My migration, en el campo Display name (Nombre visible). El nombre visible puede ser cualquier valor que te permita identificar la transferencia si necesitas modificarla más adelante.En la sección Opciones de programación, en la lista Frecuencia de repetición, selecciona una opción para especificar la frecuencia con la que se ejecuta esta transferencia de datos. Para especificar una frecuencia de repetición personalizada, selecciona Personalizado. Si seleccionas A pedido, esta transferencia se ejecuta cuando activas la transferencia de forma manual.
En la sección Destination settings (Configuración de destino), elige el conjunto de datos que creaste de la lista Dataset (Conjunto de datos).
En la sección Credenciales de Snowflake, haz lo siguiente:
- En Identificador de la cuenta, ingresa un identificador único para tu cuenta de Snowflake, que es una combinación del nombre de tu organización y el nombre de la
cuenta. El identificador es el prefijo de la URL de la cuenta de Snowflake
y no la URL completa. Por ejemplo,
ACCOUNT_IDENTIFIER.snowflakecomputing.com - En Nombre de usuario, ingresa el nombre de usuario de Snowflake cuyas credenciales y autorización se usan para acceder a tu base de datos y transferir las tablas de Snowflake. Te recomendamos usar el usuario que creaste para esta transferencia.
- En Mecanismo de autenticación, selecciona un método de autenticación de usuario de Snowflake:
CONTRASEÑA
- En Contraseña, ingresa la contraseña del usuario de Snowflake.
KEY_PAIR
- En Clave privada, ingresa la clave privada vinculada con la clave pública asociada con el usuario de Snowflake.
- En Is Private Key Encrypted, selecciona este campo si la clave privada está encriptada con una frase de contraseña.
- En Frase de contraseña de clave privada, ingresa la frase de contraseña de la clave privada encriptada. Este campo es obligatorio si seleccionaste Is Private Key Encrypted. Para obtener más información, consulta Genera un par de claves para la autenticación.
- En Almacén, ingresa un almacén que se use para la ejecución de esta transferencia de datos.
- En Base de datos de Snowflake, ingresa el nombre de la base de datos de Snowflake que contiene las tablas incluidas en esta transferencia de datos.
- En Esquema de Snowflake, ingresa el nombre del esquema de Snowflake que contiene las tablas incluidas en esta transferencia de datos.
- En Identificador de la cuenta, ingresa un identificador único para tu cuenta de Snowflake, que es una combinación del nombre de tu organización y el nombre de la
cuenta. El identificador es el prefijo de la URL de la cuenta de Snowflake
y no la URL completa. Por ejemplo,
En la sección Conectividad de red, si creas una transferencia de datos privada, selecciona Usar red privada y, luego, haz lo siguiente:
- En Adjunto de servicio de PSC, ingresa el URI del adjunto de servicio para la conectividad privada a Snowflake. Para obtener más información, consulta Crea una configuración de transferencia privada de Snowflake.
- En Servicio de red privada, si tu cuenta de Snowflake está alojada en AWS o Azure, ingresa el vínculo propio del servicio del Directorio de servicios para tu balanceador de cargas de red. Para obtener más información, consulta Crea una configuración de transferencia privada de Snowflake.
En la sección Configuración del almacenamiento, haz lo siguiente:
- En Nombre del objeto de integración de almacenamiento, ingresa el nombre del objeto de integración de almacenamiento de Snowflake. Este es un campo obligatorio, a menos que
especifiques una etapa externa de Snowflake preconfigurada
con el comando
bq mko la API para crear la configuración de transferencia. - Opcional: En Tamaño máximo del archivo, especifica el tamaño máximo de cada archivo descargado de Snowflake a la ubicación de etapa de pruebas (en MB).
En Proveedor de servicios en la nube, selecciona
AWS,AZUREoGCPsegún el proveedor de servicios en la nube que aloje tu cuenta de Snowflake.- En URI de GCS, ingresa el URI del bucket de Cloud Storage que usarás como bucket de etapa de pruebas.
- En Nombre del objeto de integración de almacenamiento, ingresa el nombre del objeto de integración de almacenamiento de Snowflake. Este es un campo obligatorio, a menos que
especifiques una etapa externa de Snowflake preconfigurada
con el comando
En la sección Cuenta de servicio, haz lo siguiente:
- En Cuenta de servicio, ingresa una cuenta de servicio para usarla con esta
transferencia de datos. La cuenta de servicio debe pertenecer al mismo proyecto deGoogle Cloud en el que se crean la configuración de transferencia y el conjunto de datos de destino. La cuenta de servicio debe tener los permisos necesarios de
storage.objects.listystorage.objects.get.
- En Cuenta de servicio, ingresa una cuenta de servicio para usarla con esta
transferencia de datos. La cuenta de servicio debe pertenecer al mismo proyecto deGoogle Cloud en el que se crean la configuración de transferencia y el conjunto de datos de destino. La cuenta de servicio debe tener los permisos necesarios de
En la sección Configuración del esquema, haz lo siguiente:
- En Ingestion type, selecciona Full o Incremental. Para obtener más información, consulta Configura transferencias incrementales.
- En Patrones de nombre de tabla, especifica las tablas que se transferirán. Para ello,
ingresa una lista de nombres o patrones de tabla separados por punto y coma, como
TABLE1_REGEX;TABLE2_REGEX. Los patrones deben seguir la sintaxis de las expresiones regulares de Java. Este campo es obligatorio:lineitem;ordertbcoincide con las tablas llamadaslineitemyordertb..*coincide con todas las tablas del esquema.
- Opcional: Si deseas especificar una ruta de acceso de salida de traducción personalizada, selecciona Usa el resultado del motor de traducción de BigQuery.
- Opcional: En Ruta de acceso de GCS de salida de la traducción, especifica una ruta de acceso a la
carpeta de Cloud Storage que contiene los archivos de asignación de esquemas del motor de traducción. Puedes dejar este campo vacío para que el conector de Snowflake detecte automáticamente tu esquema.
- La ruta de acceso debe seguir el formato
translation_target_base_uri/metadata/config/db/schema/y terminar con/.
- La ruta de acceso debe seguir el formato
- Opcional: Para asignar tipos de
NUMBER(p, 0)de Snowflake aINT64de BigQuery, selecciona Asignar NUMBER de Snowflake con escala cero a INT64 de BigQuery.
Opcional: En la sección Opciones de notificación, haz lo siguiente:
- Haz clic en el botón de activación para habilitar las notificaciones por correo electrónico. Cuando habilitas esta opción, el administrador de transferencias recibe una notificación por correo electrónico cuando falla una ejecución de transferencia.
- En Seleccionar un tema de Cloud Pub/Sub (Select a Cloud Pub/Sub topic), elige el nombre de tu tema o haz clic en Crear un tema (Create a topic). Con esta opción, se configuran las notificaciones de ejecución de Pub/Sub para tu transferencia.
Si usas CMEK, en la sección Opciones avanzadas, selecciona Clave administrada por el cliente. Aparecerá una lista de las CMEK disponibles para que elijas. Para obtener información sobre cómo funcionan las CMEK con el Servicio de transferencia de datos de BigQuery, consulta Especifica la clave de encriptación con transferencias.
Haz clic en Guardar.
La consola de Google Cloud muestra todos los detalles de configuración de la transferencia, incluido un Nombre de recurso para esta transferencia.
bq
Ingresa el comando bq mk y proporciona la marca --transfer_config. La
siguiente plantilla incluye parámetros condicionales y mutuamente excluyentes
para todos los parámetros de configuración admitidos. Cuando ejecutes el comando, incluye solo
los parámetros que se aplican a tu mecanismo de autenticación, modo de conectividad de red,
ubicación de almacenamiento de etapa de pruebas y método de asignación de esquemas.
bq mk \ --transfer_config \ --project_id=PROJECT_ID \ --data_source=snowflake_migration \ --target_dataset=DATASET_NAME \ --display_name='DISPLAY_NAME' \ --params='{ "account_identifier": "ACCOUNT_IDENTIFIER", "username": "MIGRATION_USER", "auth_mechanism": "AUTH_MECHANISM", "password": "PASSWORD", "private_key": "PRIVATE_KEY_STRING", "is_private_key_encrypted": PRIVATE_KEY_ENCRYPTED, "private_key_passphrase": "PRIVATE_KEY_PASSPHRASE", "service_account": "SERVICE_ACCOUNT_EMAIL", "warehouse": "WAREHOUSE_NAME", "database": "DATABASE_NAME", "schema": "SCHEMA_NAME", "table_name_patterns": "TABLE_NAME_PATTERNS", "cloud_provider": "CLOUD_PROVIDER", "staging_gcs_uri": "STAGING_BUCKET_URI", "staging_s3_uri": "STAGING_S3_URI", "aws_access_key_id": "AWS_ACCESS_KEY_ID", "aws_secret_access_key": "AWS_SECRET_ACCESS_KEY", "azure_storage_account": "AZURE_STORAGE_ACCOUNT", "staging_azure_container": "STAGING_AZURE_CONTAINER", "azure_sas_token": "AZURE_SAS_TOKEN", "storage_integration_object_name": "STORAGE_INTEGRATION_NAME", "max_file_size_mb": MAX_FILE_SIZE_MB, "use_private_network": USE_PRIVATE_NETWORK, "service_attachment": "SERVICE_ATTACHMENT_URI", "private_network_service": "SERVICE_DIRECTORY_LINK", "ingestion_type": "INGESTION_TYPE", "specify_translation_output": SPECIFY_TRANSLATION_OUTPUT, "translation_output_gcs_path": "TRANSLATION_OUTPUT_GCS_PATH", "custom_schema_file_path": "CUSTOM_SCHEMA_PATH", "convert_number_to_int64": CONVERT_NUMBER_TO_INT64 }'
Reemplaza lo siguiente:
PROJECT_ID: Es el ID del proyecto de Google Cloud . Si no se especifica la marca--project_id, se usa el proyecto predeterminado.DATASET_NAME: Es el conjunto de datos de destino de BigQuery para la configuración de transferencia.DISPLAY_NAMEes el nombre visible de la configuración de transferencia. El nombre visible puede ser cualquier valor que te permita identificarla con facilidad si es necesario hacerle modificaciones más tarde.
Configura los parámetros --params aplicables para tu
configuración de transferencia de Snowflake:
| Detalles del parámetro | |
|---|---|
ACCOUNT_IDENTIFIER |
Especifica un identificador único para tu cuenta de Snowflake, que es una combinación del nombre de tu organización y
el nombre de la cuenta. El identificador es el prefijo de la
URL de la cuenta de Snowflake
( Por ejemplo, |
MIGRATION_USER |
Especifica el nombre de usuario del usuario de Snowflake cuyas credenciales y autorización se usan para acceder a tu base de datos y transferir las tablas de Snowflake. Por ejemplo, |
AUTH_MECHANISM |
Especifica el método de autenticación de usuarios de Snowflake.
Los valores admitidos son |
PASSWORD |
Especifica la contraseña del usuario de Snowflake. Incluye
este parámetro solo si especificas |
PRIVATE_KEY_STRING |
Especifica la clave privada en formato PEM PKCS#8 que corresponde a
la clave pública asignada al
usuario de Snowflake. Incluye este parámetro solo si
especificas En la cadena JSON |
PRIVATE_KEY_ENCRYPTED |
Opcional: Especifica |
PRIVATE_KEY_PASSPHRASE |
Especifica la frase de contraseña de la clave privada encriptada. Incluye este
parámetro solo si especificas |
SERVICE_ACCOUNT_EMAIL |
Especifica la dirección de correo electrónico de la cuenta de servicio dedicada que se usará
con esta transferencia de datos, en el formato
|
WAREHOUSE_NAME |
Especifica un almacén que se use para ejecutar esta transferencia de datos. Por ejemplo, |
DATABASE_NAME |
Especifica el nombre de la base de datos de Snowflake que contiene las tablas incluidas en esta transferencia de datos. Por ejemplo, |
SCHEMA_NAME |
Especifica el nombre del esquema de Snowflake que contiene las tablas incluidas en esta transferencia de datos. Por ejemplo, |
TABLE_NAME_PATTERNS |
Especifica las tablas que se transferirán ingresando una lista separada por punto y coma
de nombres de tablas o patrones que coincidan con los nombres de tablas en el
esquema, como
|
CLOUD_PROVIDER |
Especifica el proveedor de servicios en la nube que aloja tu
cuenta de Snowflake. Los valores admitidos son
|
STAGING_BUCKET_URI |
Para el parámetro Por ejemplo, |
STAGING_S3_URI |
Para el parámetro Por ejemplo, |
AWS_ACCESS_KEY_ID |
En el parámetro |
AWS_SECRET_ACCESS_KEY |
Para el parámetro |
AZURE_STORAGE_ACCOUNT |
Para el parámetro |
STAGING_AZURE_CONTAINER |
Para el parámetro |
AZURE_SAS_TOKEN |
Para el parámetro |
STORAGE_INTEGRATION_NAME |
Especifica el nombre del objeto de integración de almacenamiento de Snowflake. Por ejemplo, |
MAX_FILE_SIZE_MB |
Opcional: Especifica el tamaño máximo, en MB, de cada archivo descargado
de Snowflake a la ubicación de etapa de pruebas. El valor
debe estar entre |
USE_PRIVATE_NETWORK |
Opcional: Si creas una
transferencia de datos
privada, configúrala como |
SERVICE_ATTACHMENT_URI |
Opcional: Si creas una transferencia de datos privada, especifica el URI del adjunto de servicio para la conectividad privada a Snowflake. Para obtener más información, consulta Crea una configuración de transferencia privada de Snowflake. Por ejemplo, |
SERVICE_DIRECTORY_LINK |
Opcional: Si creas una transferencia de datos privada desde una cuenta de Snowflake alojada en Por ejemplo, |
INGESTION_TYPE |
Especifica el modo de transferencia de datos. Los valores admitidos son
|
SPECIFY_TRANSLATION_OUTPUT |
Opcional: Especifica |
TRANSLATION_OUTPUT_GCS_PATH |
Opcional: Especifica una ruta de acceso a la carpeta de Cloud Storage que contiene los archivos de asignación de esquemas del motor de traducción. Deja este parámetro sin configurar para que el conector de Snowflake detecte automáticamente tu esquema.
Por ejemplo, |
CUSTOM_SCHEMA_PATH |
Opcional: Si usas un esquema personalizado, especifica la ruta de acceso al archivo de esquema personalizado en Cloud Storage. Por ejemplo, |
CONVERT_NUMBER_TO_INT64 |
Opcional: Especifica |
API
Usa el método projects.locations.transferConfigs.create y suministra una instancia del recurso TransferConfig.
Configura una transferencia de Snowflake para la asignación de esquemas
El Servicio de transferencia de datos de BigQuery admite tres métodos de asignación de esquemas para las transferencias de Snowflake: detección automática de esquemas, resultado del motor de traducción y asignación manual de esquemas. Para obtener más información, consulta la referencia de detección y asignación de esquemas.
Para ver un ejemplo de una configuración de transferencia que admita cada uno de estos métodos de asignación de esquemas, selecciona una de las siguientes opciones:
Detección automática
La referencia de detección automática de esquemas asigna automáticamente los tipos de datos de Snowflake a los tipos de datos equivalentes de BigQuery sin necesidad de metadatos externos ni archivos de definición de esquemas.
En el siguiente comando, se muestra cómo crear una configuración de transferencia que use la detección automática de esquemas:
bq mk \ --transfer_config \ --project_id=PROJECT_ID \ --data_source=snowflake_migration \ --target_dataset=DATASET_NAME \ --display_name='Snowflake Auto Detection Transfer' \ --params='{ "account_identifier": "ACCOUNT_IDENTIFIER", "username": "MIGRATION_USER", "auth_mechanism": "KEY_PAIR", "private_key": "PRIVATE_KEY_STRING", "service_account": "SERVICE_ACCOUNT_EMAIL", "warehouse": "WAREHOUSE_NAME", "database": "DATABASE_NAME", "schema": "SCHEMA_NAME", "table_name_patterns": "orders;lineitem", "cloud_provider": "GCP", "staging_gcs_uri": "gs://STAGING_BUCKET_NAME/staging/", "storage_integration_object_name": "STORAGE_INTEGRATION_NAME", "ingestion_type": "Full" }'
Resultado de la traducción
Usa los metadatos y la asignación de esquemas que genera el traductor de SQL por lotes de BigQuery para controlar las asignaciones complejas de tablas y tipos de datos. Para obtener más información, consulta Configuración del esquema de salida de la traducción.
En el siguiente comando, se muestra cómo crear una configuración de transferencia que use el resultado del motor de traducción para la asignación de esquemas:
bq mk \ --transfer_config \ --project_id=PROJECT_ID \ --data_source=snowflake_migration \ --target_dataset=DATASET_NAME \ --display_name='Snowflake Translation Output Transfer' \ --params='{ "account_identifier": "ACCOUNT_IDENTIFIER", "username": "MIGRATION_USER", "auth_mechanism": "KEY_PAIR", "private_key": "PRIVATE_KEY_STRING", "service_account": "SERVICE_ACCOUNT_EMAIL", "warehouse": "WAREHOUSE_NAME", "database": "DATABASE_NAME", "schema": "SCHEMA_NAME", "table_name_patterns": "orders;lineitem", "cloud_provider": "GCP", "staging_gcs_uri": "gs://STAGING_BUCKET_NAME/staging/", "storage_integration_object_name": "STORAGE_INTEGRATION_NAME", "ingestion_type": "Full", "specify_translation_output": true, "translation_output_gcs_path": "gs://TRANSLATION_BUCKET/output/metadata/config/DATABASE_NAME/SCHEMA_NAME/" }'
Esquema personalizado
Proporciona un archivo de esquema JSON personalizado en Cloud Storage para cambiar el nombre de las columnas, personalizar los tipos de datos o designar claves primarias.
En el siguiente comando, se muestra cómo crear una configuración de transferencia que use un esquema personalizado para la asignación de esquemas:
bq mk \ --transfer_config \ --project_id=PROJECT_ID \ --data_source=snowflake_migration \ --target_dataset=DATASET_NAME \ --display_name='Snowflake Custom Schema Transfer' \ --params='{ "account_identifier": "ACCOUNT_IDENTIFIER", "username": "MIGRATION_USER", "auth_mechanism": "KEY_PAIR", "private_key": "PRIVATE_KEY_STRING", "service_account": "SERVICE_ACCOUNT_EMAIL", "warehouse": "WAREHOUSE_NAME", "database": "DATABASE_NAME", "schema": "SCHEMA_NAME", "table_name_patterns": "orders;lineitem", "cloud_provider": "GCP", "staging_gcs_uri": "gs://STAGING_BUCKET_NAME/staging/", "storage_integration_object_name": "STORAGE_INTEGRATION_NAME", "ingestion_type": "Full", "custom_schema_file_path": "gs://CONFIG_BUCKET/schemas/custom_schema.json" }'
Especifica la clave de encriptación con transferencias
Puedes especificar claves de encriptación administradas por el cliente (CMEKs) para encriptar los datos de una ejecución de transferencia. Puedes usar una CMEK para admitir transferencias de Snowflake.Cuando especificas una CMEK con una transferencia, el Servicio de transferencia de datos de BigQuery aplica la CMEK a cualquier memoria caché del disco intermedia de datos transferidos para que todo el flujo de trabajo de transferencia de datos cumpla con la CMEK.
No puedes actualizar una transferencia existente para agregar una CMEK si la transferencia no se creó en un principio con una CMEK. Por ejemplo, no puedes cambiar una tabla de destino que se encriptó de forma predeterminada para que ahora se encripte con CMEK. Por el contrario, tampoco puedes cambiar una tabla de destino encriptada con CMEK para que tenga un tipo de encriptación diferente.
Puedes actualizar una CMEK para una transferencia si la configuración de transferencia se creó en un principio con una encriptación de CMEK. Cuando actualizas una CMEK para una configuración de transferencia, el Servicio de transferencia de datos de BigQuery propaga la CMEK a las tablas de destino en la siguiente ejecución de la transferencia, en la que el Servicio de transferencia de datos de BigQuery reemplaza cualquier CMEK desactualizada por la CMEK nueva durante la ejecución de la transferencia. Para obtener más información, consulta Actualiza una transferencia.
También puedes usar las claves predeterminadas del proyecto. Cuando especificas una clave predeterminada de proyecto con una transferencia, el Servicio de transferencia de datos de BigQuery usa la clave predeterminada del proyecto como la clave predeterminada para cualquier configuración de transferencia nueva.
Cuotas y límites
De forma predeterminada, BigQuery tiene una cuota de carga de 15 TB para cada trabajo de carga por cada tabla. De forma interna, Snowflake comprime los datos de la tabla, por lo que el tamaño de la tabla exportada es mayor que el tamaño de la tabla informado por Snowflake.
Para mejorar los tiempos de carga de las tablas más grandes y quitar el límite de carga de 15 TB de BigQuery, especifica el tipo de trabajo PIPELINE
para tu asignación de reserva.
Debido al modelo de coherencia de Amazon S3, es posible que algunos archivos no se incluyan en la transferencia a BigQuery.
Optimiza el rendimiento de la transferencia de datos
Puedes supervisar el rendimiento de tus transferencias de datos consultando los registros de la transferencia de datos. Para mejorar el rendimiento de tus transferencias de datos, te recomendamos que realices los siguientes pasos de optimización:
- Mantén tu instancia de Snowflake, el bucket de etapa de pruebas y el conjunto de datos de BigQuery en la misma región
- Puedes mejorar la velocidad de descarga de las tablas de la siguiente manera:
- Aumenta el tamaño de tu almacén virtual de Snowflake, en especial cuando transfieras tablas grandes de Snowflake (1 TiB o más).
- Ajusta la opción
MAX_FILE_SIZEen la configuración de transferencia.- Los tamaños de archivo más pequeños pueden mejorar las velocidades de transferencia, pero si son demasiado pequeños, puede haber demasiados archivos.
- Puedes mejorar las velocidades de carga de las tablas aumentando la cantidad de reservas de ranura de BigQuery para los tipos de trabajos
PIPELINEyQUERY. - Cuando realices una transferencia completa, evita agrupar en clústeres y particionar la tabla de BigQuery de destino.
- Cuando realices una transferencia incremental en el modo Actualizar o insertar, considera agrupar en clústeres y particionar las columnas de clave primaria para mejorar el rendimiento de la transferencia.
- Sin embargo, evita agrupar en clústeres y particionar en columnas que no sean de clave primaria para evitar operaciones de combinación más lentas.
Precios
Para obtener información sobre los precios del Servicio de transferencia de datos de BigQuery, consulta la página Precios.
- Si el almacén de Snowflake y el bucket de Amazon S3 están en regiones diferentes, Snowflake aplica cargos de salida cuando ejecutas una transferencia de datos de Snowflake. No hay cargos de salida por las transferencias de datos de Snowflake si el almacén de Snowflake y el bucket de Amazon S3 se encuentran en la misma región.
- Cuando los datos se transfieren de AWS a Google Cloud, se aplican cargos de salida entre nubes.
¿Qué sigue?
- Obtén más información acerca del Servicio de transferencia de datos de BigQuery.
- Migra el código SQL con la traducción de SQL por lotes.