Programa una transferencia de Snowflake

El conector de Snowflake que proporciona el Servicio de transferencia de datos de BigQuery te permite programar y administrar trabajos de transferencia automatizados para migrar datos de Snowflake a BigQuery con listas de IPs públicas permitidas.

Descripción general

El conector de Snowflake involucra agentes de migración en Google Kubernetes Engine y activa una operación de carga de Snowflake a un área de etapa de pruebas dentro del bucket de Cloud Storage.

  • Para las cuentas de Snowflake alojadas en Amazon Web Services (AWS), Azure o Google Cloud, los datos se almacenan primero en tu bucket de Cloud Storage, que luego se transfiere a BigQuery con el Servicio de transferencia de datos de BigQuery.

En el siguiente diagrama, se ilustran las transferencias de datos públicos desde cuentas de Snowflake alojadas en Amazon Web Services (AWS) o Azure, o cuentas de Snowflake alojadas en Google Cloud.

Transferencias de datos públicos de AWS o Azure, o de cuentas de Snowflake alojadas en Google Clouda BigQuery

Limitaciones

Las transferencias de datos realizadas con el conector de Snowflake están sujetas a las siguientes limitaciones:

  • El conector de Snowflake solo admite transferencias desde tablas dentro de una sola base de datos y esquema de Snowflake. Para transferir datos desde tablas con varias bases de datos o esquemas de Snowflake, puedes configurar cada trabajo de transferencia por separado.
  • La velocidad de carga de datos de Snowflake en tu bucket de Amazon S3, contenedor de Azure Blob Storage o bucket de Cloud Storage está limitada por el almacén de Snowflake que elegiste para esta transferencia.
  • BigQuery escribe datos de Snowflake en Cloud Storage como archivos de Parquet. Los archivos Parquet no admiten los tipos de datos TIMESTAMP_TZ ni TIMESTAMP_LTZ. Si tus datos contienen estos tipos, puedes exportarlos a Amazon S3 como archivos CSV y, luego, importarlos a BigQuery. Para obtener más información, consulta Introducción a las transferencias de datos de Amazon S3.

Antes de comenzar

En las siguientes secciones, se describen los pasos que debes seguir para configurar una transferencia de Snowflake.

Prepara tu proyecto de Google Cloud

Crea y configura tu proyecto de Google Cloud para una transferencia de Snowflake con los siguientes pasos:

  1. Crea un proyecto de Google Cloud o selecciona uno existente.

  2. Verifica que completaste todas las acciones obligatorias para habilitar el Servicio de transferencia de datos de BigQuery.

  3. Crea un conjunto de datos de BigQuery para almacenar tus datos. No es necesario crear ninguna tabla.

Obtén los roles de IAM necesarios

Para crear y administrar transferencias de datos de Snowflake, todas las cuentas de usuario y de servicio requeridas deben tener los roles que se describen en la siguiente tabla:

Identidad Rol Recurso objetivo
Cuenta de usuario roles/bigquery.user Google Cloud proyecto
Cuenta de usuario roles/bigquery.dataOwner Conjunto de datos de BigQuery de destino
Cuenta de usuario roles/iam.serviceAccountUser Cuenta de servicio dedicada
Cuenta de servicio dedicada roles/storage.objectViewer Bucket de Cloud Storage de etapa de pruebas y el bucket o los buckets que contienen los archivos de asignación de esquemas
Agente de servicio del Servicio de transferencia de datos de BigQuery roles/storage.objectViewer Bucket de Cloud Storage de etapa de pruebas
Agente de servicio del Servicio de transferencia de datos de BigQuery roles/bigquery.dataEditor Conjunto de datos de BigQuery de destino
Agente de servicio del Servicio de transferencia de datos de BigQuery roles/iam.serviceAccountTokenCreator Cuenta de servicio dedicada, si usas una cuenta de servicio entre proyectos
Cuenta de servicio de Snowflake Google Cloud roles/storage.objectUser Bucket de Cloud Storage de etapa de pruebas
Cuenta de servicio de Snowflake Google Cloud roles/storage.bucketViewer Bucket de Cloud Storage de etapa de pruebas

En las siguientes secciones, se proporcionan más detalles sobre los roles y permisos necesarios para cada identidad.

Obtén permisos de la cuenta de usuario

Para obtener los permisos que necesitas para crear y administrar parámetros de configuración de transferencia, y ejecutar trabajos con una cuenta de usuario, pídele a tu administrador que te otorgue los siguientes roles de IAM:

  • Crea y administra parámetros de configuración de transferencia, y ejecuta trabajos: Usuario de BigQuery (roles/bigquery.user) en el proyecto
  • Administrar y otorgar acceso al conjunto de datos de destino: Propietario de datos de BigQuery (roles/bigquery.dataOwner) en el conjunto de datos de BigQuery de destino
  • Crea o actualiza parámetros de configuración de transferencia con una cuenta de servicio dedicada: Usuario de cuenta de servicio (roles/iam.serviceAccountUser) en la cuenta de servicio dedicada

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

Estos roles predefinidos contienen los permisos necesarios para crear y administrar parámetros de configuración de transferencia, y ejecutar trabajos con una cuenta de usuario. Para ver los permisos exactos que son necesarios, expande la sección Permisos requeridos:

Permisos necesarios

Se requieren los siguientes permisos para crear y administrar parámetros de configuración de transferencia, y ejecutar trabajos con una cuenta de usuario:

  • bigquery.transfers.get
  • bigquery.transfers.update
  • bigquery.datasets.get
  • bigquery.datasets.getIamPolicy
  • bigquery.datasets.update
  • bigquery.jobs.create
  • bigquery.datasets.setIamPolicy
  • iam.serviceAccounts.actAs

También puedes obtener estos permisos con roles personalizados o con otros roles predefinidos.

Obtén permisos de cuenta de servicio dedicada

Para asegurarte de que la cuenta de servicio dedicada tenga los permisos necesarios para usar una cuenta de servicio que lea los metadatos de traducción, el esquema personalizado o los archivos de etapa de pruebas durante la ejecución de la transferencia, pídele a tu administrador que otorgue el rol de IAM de visualizador de objetos de Storage (roles/storage.objectViewer) a la cuenta de servicio dedicada en el bucket de etapa de pruebas de Cloud Storage y en el bucket o los buckets que contienen los archivos de asignación de esquemas.

Obtén permisos de agente de servicio del Servicio de transferencia de datos de BigQuery

Para garantizar que el agente de servicio del Servicio de transferencia de datos de BigQuery tenga los permisos necesarios para usar un agente de servicio que ejecute la transferencia, pídele a tu administrador que otorgue los siguientes roles de IAM al agente de servicio del Servicio de transferencia de datos de BigQuery:

  • Lee archivos de datos descargados durante la ejecución de la transferencia: Visualizador de objetos de Storage (roles/storage.objectViewer) en el bucket de etapa de pruebas de Cloud Storage
  • Escribir datos transferidos en tablas de destino: Editor de datos de BigQuery (roles/bigquery.dataEditor) en el conjunto de datos de BigQuery de destino
  • Autoriza las transferencias que usan una cuenta de servicio entre proyectos: Creador de tokens de cuenta de servicio (roles/iam.serviceAccountTokenCreator) en la cuenta de servicio dedicada entre proyectos

Si la cuenta de servicio dedicada se encuentra en el mismo proyecto en el que está habilitado el Servicio de transferencia de datos de BigQuery, Google otorga automáticamente el permiso iam.serviceAccounts.getAccessToken requerido. Solo debes otorgar el rol de creador de tokens de cuenta de servicio (roles/iam.serviceAccountTokenCreator) de forma manual si la cuenta de servicio dedicada se encuentra en un proyecto diferente. Para obtener más información, consulta Autorización de cuentas de servicio entre proyectos.

Obtén los permisos de la cuenta de servicio de Snowflake Google Cloud

Para garantizar que la cuenta de servicio de Snowflake Google Cloud tenga los permisos necesarios para escribir y administrar archivos de datos descargados en el bucket de etapa de pruebas, pídele a tu administrador que otorgue los siguientes roles de IAM a la cuenta de servicio de Snowflake Google Cloud en el bucket de etapa de pruebas de Cloud Storage:

Estos roles predefinidos contienen los permisos necesarios para escribir y administrar archivos de datos descargados en el bucket de etapa de pruebas. Para ver los permisos exactos que son necesarios, expande la sección Permisos requeridos:

Permisos necesarios

Se requieren los siguientes permisos para escribir y administrar archivos de datos descargados en el bucket de etapa de pruebas:

  • storage.buckets.get
  • storage.objects.get
  • storage.objects.create
  • storage.objects.delete
  • storage.objects.list

Prepara el bucket de etapa de pruebas

Para prepararte para una transferencia de datos de Snowflake, crea un bucket de etapa de pruebas y, luego, configúralo para permitir el acceso de escritura desde Snowflake. Debes almacenar en etapa intermedia los datos de Snowflake en un bucket de Cloud Storage antes de poder cargarlos en BigQuery. El bucket de etapa de pruebas no debe tener habilitada la función de espacio de nombres jerárquico.

Para crear y configurar un bucket de etapa de pruebas, haz lo siguiente:

  1. Crea buckets de Cloud Storage.
  2. Crea y configura un objeto de integración de almacenamiento de Snowflake para permitir que Snowflake escriba datos en el bucket de Cloud Storage como una etapa externa.

    CREATE STORAGE INTEGRATION STORAGE_INTEGRATION_NAME
    TYPE = EXTERNAL_STAGE
    STORAGE_PROVIDER = 'GCS'
    ENABLED = TRUE
    STORAGE_ALLOWED_LOCATIONS = ('gcs://STAGING_BUCKET_NAME/');
    
    -- Describe integration to retrieve Snowflake Google Cloud service account
    DESCRIBE INTEGRATION STORAGE_INTEGRATION_NAME;

    Reemplaza lo siguiente:

    • STORAGE_INTEGRATION_NAME: Es el nombre del objeto de integración de almacenamiento nuevo.
    • STAGING_BUCKET_NAME: Es el nombre del bucket de Cloud Storage que creaste.
  3. Cuando ejecutas el comando DESCRIBE INTEGRATION, la cuenta de servicio de Cloud Storage aparece en el campo STORAGE_GCP_SERVICE_ACCOUNT. Otorga a la cuenta de servicio de Cloud Storage los siguientes permisos en el bucket de Cloud Storage:

    • storage.buckets.get
    • storage.objects.create
    • storage.objects.delete
    • storage.objects.get
    • storage.objects.list
  4. Para permitir el acceso al bucket de etapa de pruebas, otorga al agente de servicio del Servicio de transferencia de datos de BigQuery el rol roles/storage.objectViewer:

    gcloud storage buckets add-iam-policy-binding gs://STAGING_BUCKET_NAME \
        --member=serviceAccount:service-PROJECT_NUMBER@gcp-sa-bigquerydatatransfer. \
        --role=roles/storage.objectViewer

Para una transferencia de datos privada de Snowflake, crea el bucket de etapa de pruebas y configúralo para la conectividad privada.

Si tu organización de Google Cloud aplica el uso compartido restringido por dominio con la restricción constraints/iam.allowedPolicyMemberDomains, el otorgamiento de roles de IAM en el bucket de etapa de pruebas a la cuenta de servicio deSTORAGE_GCP_SERVICE_ACCOUNT falla porque esa cuenta de servicio pertenece a la organización externa de Snowflake.

No puedes derivar el ID de cliente de Google Workspace de Snowflake de la dirección de correo electrónico de la cuenta de servicio. Obtén el ID de cliente de una de las siguientes maneras:

  • Si tu cuenta de Snowflake se aloja en Google Cloud, ejecuta SELECT SYSTEM$GET_SNOWFLAKE_PLATFORM_INFO(); en Snowflake con el rol ACCOUNTADMIN y busca el valor snowflake-customer-directory-id en el resultado.
  • Si tu cuenta de Snowflake se aloja en AWS o Azure, comunícate con el equipo de asistencia de Snowflake para solicitar el ID de cliente de Google Workspace de tu cuenta de servicio de STORAGE_GCP_SERVICE_ACCOUNT.

Para agregar el ID de cliente de Snowflake a la lista de entidades permitidas de tu proyecto, actualiza la política de la organización:

gcloud resource-manager org-policies allow \
    iam.allowedPolicyMemberDomains EXTERNAL_CUSTOMER_ID \
    --project=PROJECT_ID

Reemplaza lo siguiente:

  • EXTERNAL_CUSTOMER_ID: Es el ID de cliente de Google Workspace de Snowflake.
  • PROJECT_ID: Es el ID del proyecto de Google Cloud que contiene tu bucket de etapa de pruebas.

Para obtener más información, consulta Restringe identidades con el uso compartido restringido por dominio.

Crea un usuario de Snowflake con los permisos necesarios

Durante una transferencia de Snowflake, el conector de Snowflake se conecta a tu cuenta de Snowflake con una conexión JDBC. Debes crear un usuario de Snowflake nuevo con un rol personalizado que solo tenga los privilegios necesarios para realizar la transferencia de datos.

En la siguiente tabla, se enumeran los roles y privilegios necesarios para el rol personalizado llamado MIGRATION_ROLE:

Identidad Rol o privilegio Recurso objetivo Objetivo
Usuario de migración MIGRATION_ROLE Cuenta de Snowflake Autenticarte con un par de claves RSA y ejecutar operaciones de migración
Rol de migración USAGE Almacén de Snowflake Proporciona capacidad de procesamiento para la ejecución de consultas.
USAGE Base de datos y esquema de Snowflake Accede a la base de datos y al esquema que contienen las tablas de origen.
SELECT Tablas de origen Lee los metadatos de las tablas y extrae los datos para la transferencia.
USAGE Integración de almacenamiento Autoriza la descarga de datos en el bucket de etapa de pruebas externo de Cloud Storage.

Para crear y configurar el rol personalizado y el usuario de migración, ejecuta los siguientes comandos de SQL en tu cuenta de Snowflake:

  1. Crea el rol personalizado MIGRATION_ROLE:

    CREATE ROLE MIGRATION_ROLE;

    Reemplaza MIGRATION_ROLE por el nombre del rol personalizado que estás creando.

  2. Otorga al rol personalizado los permisos necesarios:

    GRANT USAGE ON WAREHOUSE WAREHOUSE_NAME TO ROLE MIGRATION_ROLE;
    GRANT USAGE ON DATABASE DATABASE_NAME TO ROLE MIGRATION_ROLE;
    GRANT USAGE ON SCHEMA DATABASE_NAME.SCHEMA_NAME TO ROLE MIGRATION_ROLE;
    GRANT SELECT ON ALL TABLES IN SCHEMA DATABASE_NAME.SCHEMA_NAME TO ROLE MIGRATION_ROLE;
    GRANT USAGE ON INTEGRATION STORAGE_INTEGRATION_OBJECT_NAME TO ROLE MIGRATION_ROLE;

    Reemplaza lo siguiente:

    • WAREHOUSE_NAME: Es el nombre de tu almacén de datos.
    • DATABASE_NAME: Es el nombre de tu base de datos de Snowflake.
    • SCHEMA_NAME: el nombre de tu esquema de Snowflake.
    • STORAGE_INTEGRATION_OBJECT_NAME: Es el nombre de tu objeto de integración de almacenamiento de Snowflake.
  3. Crea el usuario de migración como un usuario de servicio:

    CREATE USER MIGRATION_USER TYPE = SERVICE;

    Reemplaza MIGRATION_USER por el nombre de usuario del usuario de migración. Si configuras TYPE = SERVICE, se crea un usuario de servicio que se autentica con un par de claves y está exento de la autenticación de varios factores (MFA) interactiva.

  4. Asigna el rol personalizado al usuario de migración:

    GRANT ROLE MIGRATION_ROLE TO USER MIGRATION_USER;
    ALTER USER MIGRATION_USER SET DEFAULT_ROLE = MIGRATION_ROLE;

Genera un par de claves para la autenticación

Debido a que Snowflake dejó de admitir los accesos con contraseña de un solo factor, te recomendamos que uses un par de claves para la autenticación. Para configurar un par de claves, haz lo siguiente:

  1. Genera una clave privada PKCS#8 de 2,048 bits en formato PEM. Elige si deseas generar una clave privada encriptada o sin encriptar:

    • Para generar una clave privada sin encriptar, ejecuta el siguiente comando:

      openssl genrsa 2048 | openssl pkcs8 -topk8 -inform PEM -out rsa_key.p8 -nocrypt
    • Para generar una clave privada encriptada, ejecuta el siguiente comando y, luego, ingresa una frase de contraseña cuando se te solicite:

      openssl genrsa 2048 | openssl pkcs8 -topk8 -v2 des3 -inform PEM -out rsa_key.p8
  2. Genera la clave pública correspondiente:

    openssl rsa -in rsa_key.p8 -pubout -out rsa_key.pub
  3. Asigna la clave pública, sin incluir el encabezado, el pie de página ni los saltos de línea, a tu usuario de migración de Snowflake:

    ALTER USER MIGRATION_USER SET RSA_PUBLIC_KEY='PUBLIC_KEY_STRING';

    Reemplaza PUBLIC_KEY_STRING por el cuerpo de la clave pública generada en el archivo rsa_key.pub.

Para obtener más información, consulta Configura la autenticación de par de claves.

Permite la descarga en ubicaciones externas intercaladas

El conector de Snowflake descarga datos en ubicaciones externas intercaladas durante la transferencia. Si tu cuenta de Snowflake restringe la descarga a ubicaciones intercaladas, la transferencia fallará.

Para permitir la descarga en ubicaciones intercaladas, ejecuta el siguiente comando de SQL en tu cuenta de Snowflake. Debes tener el rol ACCOUNTADMIN en Snowflake para ejecutar este comando.

ALTER ACCOUNT SET PREVENT_UNLOAD_TO_INLINE_URL = false;

Como alternativa, puedes usar SET para permitir la descarga en el usuario de migración con el siguiente comando:

ALTER USER MIGRATION_USER SET PREVENT_UNLOAD_TO_INLINE_URL = false;

Reemplaza MIGRATION_USER por el nombre de usuario del usuario de migración.

Requisitos previos adicionales para parámetros de configuración opcionales

Para configurar funciones opcionales para tu transferencia de Snowflake, como la conectividad privada o las transferencias incrementales, debes completar estos requisitos previos que se describen en las siguientes secciones.

Agrega políticas de red

Para la conectividad pública, la cuenta de Snowflake permite la conexión pública con las credenciales de la base de datos de forma predeterminada. Sin embargo, es posible que hayas configurado reglas o políticas de red que podrían impedir que el conector de Snowflake se conecte a tu cuenta. En este caso, debes agregar las direcciones IP necesarias a tu lista de entidades permitidas. Para obtener más información, consulta Configura políticas de red para las transferencias de Snowflake.

Detección y asignación de esquemas

Para definir tu esquema, puedes usar el Servicio de transferencia de datos de BigQuery para detectar automáticamente el esquema y la asignación de tipos de datos cuando transfieras datos de Snowflake a BigQuery. Como alternativa, puedes usar el motor de traducción para definir tu esquema y los tipos de datos de forma manual.

Para obtener más información, consulta Detección y asignación de esquemas para Snowflake.

Habilita las transferencias incrementales

Para configurar una transferencia de datos incremental de Snowflake, consulta Configura transferencias incrementales para Snowflake.

Habilita la conectividad privada

Si quieres crear una transferencia de datos privada de Snowflake, debes configurar tu red para la conectividad privada.

Configura una transferencia de Snowflake

Antes de configurar una transferencia de Snowflake, asegúrate de tener la siguiente información:

Para crear una configuración de transferencia de Snowflake, haz lo siguiente:

Console

  1. Ve a la página Transferencia de datos en la consola de Google Cloud .

    Ir a Transferencias de datos

  2. Haz clic en Crear transferencia.

  3. En la sección Tipo de fuente, selecciona Migración de Snowflake en la lista Fuente.

  4. En la sección Transfer config name (Nombre de la configuración de transferencia), ingresa un nombre para la transferencia, como My migration, en el campo Display name (Nombre visible). El nombre visible puede ser cualquier valor que te permita identificar la transferencia si necesitas modificarla más adelante.

  5. En la sección Opciones de programación, en la lista Frecuencia de repetición, selecciona una opción para especificar la frecuencia con la que se ejecuta esta transferencia de datos. Para especificar una frecuencia de repetición personalizada, selecciona Personalizado. Si seleccionas A pedido, esta transferencia se ejecuta cuando activas la transferencia de forma manual.

  6. En la sección Destination settings (Configuración de destino), elige el conjunto de datos que creaste de la lista Dataset (Conjunto de datos).

  7. En la sección Credenciales de Snowflake, haz lo siguiente:

    1. En Identificador de la cuenta, ingresa un identificador único para tu cuenta de Snowflake, que es una combinación del nombre de tu organización y el nombre de la cuenta. El identificador es el prefijo de la URL de la cuenta de Snowflake y no la URL completa. Por ejemplo, ACCOUNT_IDENTIFIER.snowflakecomputing.com
    2. En Nombre de usuario, ingresa el nombre de usuario de Snowflake cuyas credenciales y autorización se usan para acceder a tu base de datos y transferir las tablas de Snowflake. Te recomendamos usar el usuario que creaste para esta transferencia.
    3. En Mecanismo de autenticación, selecciona un método de autenticación de usuario de Snowflake:

      CONTRASEÑA

      • En Contraseña, ingresa la contraseña del usuario de Snowflake.

      KEY_PAIR

      • En Clave privada, ingresa la clave privada vinculada con la clave pública asociada con el usuario de Snowflake.
      • En Is Private Key Encrypted, selecciona este campo si la clave privada está encriptada con una frase de contraseña.
      • En Frase de contraseña de clave privada, ingresa la frase de contraseña de la clave privada encriptada. Este campo es obligatorio si seleccionaste Is Private Key Encrypted. Para obtener más información, consulta Genera un par de claves para la autenticación.
    • En Almacén, ingresa un almacén que se use para la ejecución de esta transferencia de datos.
    • En Base de datos de Snowflake, ingresa el nombre de la base de datos de Snowflake que contiene las tablas incluidas en esta transferencia de datos.
    • En Esquema de Snowflake, ingresa el nombre del esquema de Snowflake que contiene las tablas incluidas en esta transferencia de datos.
  8. En la sección Conectividad de red, si creas una transferencia de datos privada, selecciona Usar red privada y, luego, haz lo siguiente:

  9. En la sección Configuración del almacenamiento, haz lo siguiente:

    1. En Nombre del objeto de integración de almacenamiento, ingresa el nombre del objeto de integración de almacenamiento de Snowflake. Este es un campo obligatorio, a menos que especifiques una etapa externa de Snowflake preconfigurada con el comando bq mk o la API para crear la configuración de transferencia.
    2. Opcional: En Tamaño máximo del archivo, especifica el tamaño máximo de cada archivo descargado de Snowflake a la ubicación de etapa de pruebas (en MB).
    3. En Proveedor de servicios en la nube, selecciona AWS, AZURE o GCP según el proveedor de servicios en la nube que aloje tu cuenta de Snowflake.

  10. En la sección Cuenta de servicio, haz lo siguiente:

    1. En Cuenta de servicio, ingresa una cuenta de servicio para usarla con esta transferencia de datos. La cuenta de servicio debe pertenecer al mismo proyecto deGoogle Cloud en el que se crean la configuración de transferencia y el conjunto de datos de destino. La cuenta de servicio debe tener los permisos necesarios de storage.objects.list y storage.objects.get.
  11. En la sección Configuración del esquema, haz lo siguiente:

    1. En Ingestion type, selecciona Full o Incremental. Para obtener más información, consulta Configura transferencias incrementales.
    2. En Patrones de nombre de tabla, especifica las tablas que se transferirán. Para ello, ingresa una lista de nombres o patrones de tabla separados por punto y coma, como TABLE1_REGEX;TABLE2_REGEX. Los patrones deben seguir la sintaxis de las expresiones regulares de Java. Este campo es obligatorio:
      • lineitem;ordertb coincide con las tablas llamadas lineitem y ordertb.
      • .* coincide con todas las tablas del esquema.
    3. Opcional: Si deseas especificar una ruta de acceso de salida de traducción personalizada, selecciona Usa el resultado del motor de traducción de BigQuery.
    4. Opcional: En Ruta de acceso de GCS de salida de la traducción, especifica una ruta de acceso a la carpeta de Cloud Storage que contiene los archivos de asignación de esquemas del motor de traducción. Puedes dejar este campo vacío para que el conector de Snowflake detecte automáticamente tu esquema.
      • La ruta de acceso debe seguir el formato translation_target_base_uri/metadata/config/db/schema/ y terminar con /.
    5. Opcional: Para asignar tipos de NUMBER(p, 0) de Snowflake a INT64 de BigQuery, selecciona Asignar NUMBER de Snowflake con escala cero a INT64 de BigQuery.
  12. Opcional: En la sección Opciones de notificación, haz lo siguiente:

    1. Haz clic en el botón de activación para habilitar las notificaciones por correo electrónico. Cuando habilitas esta opción, el administrador de transferencias recibe una notificación por correo electrónico cuando falla una ejecución de transferencia.
    2. En Seleccionar un tema de Cloud Pub/Sub (Select a Cloud Pub/Sub topic), elige el nombre de tu tema o haz clic en Crear un tema (Create a topic). Con esta opción, se configuran las notificaciones de ejecución de Pub/Sub para tu transferencia.
  13. Si usas CMEK, en la sección Opciones avanzadas, selecciona Clave administrada por el cliente. Aparecerá una lista de las CMEK disponibles para que elijas. Para obtener información sobre cómo funcionan las CMEK con el Servicio de transferencia de datos de BigQuery, consulta Especifica la clave de encriptación con transferencias.

  14. Haz clic en Guardar.

  15. La consola de Google Cloud muestra todos los detalles de configuración de la transferencia, incluido un Nombre de recurso para esta transferencia.

bq

Ingresa el comando bq mk y proporciona la marca --transfer_config. La siguiente plantilla incluye parámetros condicionales y mutuamente excluyentes para todos los parámetros de configuración admitidos. Cuando ejecutes el comando, incluye solo los parámetros que se aplican a tu mecanismo de autenticación, modo de conectividad de red, ubicación de almacenamiento de etapa de pruebas y método de asignación de esquemas.

bq mk \
  --transfer_config \
  --project_id=PROJECT_ID \
  --data_source=snowflake_migration \
  --target_dataset=DATASET_NAME \
  --display_name='DISPLAY_NAME' \
  --params='{
    "account_identifier": "ACCOUNT_IDENTIFIER",
    "username": "MIGRATION_USER",
    "auth_mechanism": "AUTH_MECHANISM",
    "password": "PASSWORD",
    "private_key": "PRIVATE_KEY_STRING",
    "is_private_key_encrypted": PRIVATE_KEY_ENCRYPTED,
    "private_key_passphrase": "PRIVATE_KEY_PASSPHRASE",
    "service_account": "SERVICE_ACCOUNT_EMAIL",
    "warehouse": "WAREHOUSE_NAME",
    "database": "DATABASE_NAME",
    "schema": "SCHEMA_NAME",
    "table_name_patterns": "TABLE_NAME_PATTERNS",
    "cloud_provider": "CLOUD_PROVIDER",
    "staging_gcs_uri": "STAGING_BUCKET_URI",
    "staging_s3_uri": "STAGING_S3_URI",
    "aws_access_key_id": "AWS_ACCESS_KEY_ID",
    "aws_secret_access_key": "AWS_SECRET_ACCESS_KEY",
    "azure_storage_account": "AZURE_STORAGE_ACCOUNT",
    "staging_azure_container": "STAGING_AZURE_CONTAINER",
    "azure_sas_token": "AZURE_SAS_TOKEN",
    "storage_integration_object_name": "STORAGE_INTEGRATION_NAME",
    "max_file_size_mb": MAX_FILE_SIZE_MB,
    "use_private_network": USE_PRIVATE_NETWORK,
    "service_attachment": "SERVICE_ATTACHMENT_URI",
    "private_network_service": "SERVICE_DIRECTORY_LINK",
    "ingestion_type": "INGESTION_TYPE",
    "specify_translation_output": SPECIFY_TRANSLATION_OUTPUT,
    "translation_output_gcs_path": "TRANSLATION_OUTPUT_GCS_PATH",
    "custom_schema_file_path": "CUSTOM_SCHEMA_PATH",
    "convert_number_to_int64": CONVERT_NUMBER_TO_INT64
  }'

Reemplaza lo siguiente:

  • PROJECT_ID: Es el ID del proyecto de Google Cloud . Si no se especifica la marca --project_id, se usa el proyecto predeterminado.
  • DATASET_NAME: Es el conjunto de datos de destino de BigQuery para la configuración de transferencia.
  • DISPLAY_NAME es el nombre visible de la configuración de transferencia. El nombre visible puede ser cualquier valor que te permita identificarla con facilidad si es necesario hacerle modificaciones más tarde.

Configura los parámetros --params aplicables para tu configuración de transferencia de Snowflake:

Detalles del parámetro
ACCOUNT_IDENTIFIER

Especifica un identificador único para tu cuenta de Snowflake, que es una combinación del nombre de tu organización y el nombre de la cuenta. El identificador es el prefijo de la URL de la cuenta de Snowflake (ACCOUNT_IDENTIFIER.snowflakecomputing.com) y no la URL completa.

Por ejemplo, org-account.

MIGRATION_USER

Especifica el nombre de usuario del usuario de Snowflake cuyas credenciales y autorización se usan para acceder a tu base de datos y transferir las tablas de Snowflake.

Por ejemplo, MIGRATION_USER.

AUTH_MECHANISM

Especifica el método de autenticación de usuarios de Snowflake. Los valores admitidos son PASSWORD y KEY_PAIR. Para obtener más información, consulta Genera un par de claves para la autenticación.

PASSWORD

Especifica la contraseña del usuario de Snowflake. Incluye este parámetro solo si especificas PASSWORD en el parámetro auth_mechanism.

PRIVATE_KEY_STRING

Especifica la clave privada en formato PEM PKCS#8 que corresponde a la clave pública asignada al usuario de Snowflake. Incluye este parámetro solo si especificas KEY_PAIR en el parámetro auth_mechanism.

En la cadena JSON --params, reemplaza todos los saltos de línea de la clave PEM por \n. Por ejemplo, -----BEGIN PRIVATE KEY-----\n...\n-----END PRIVATE KEY----- para una clave sin encriptar o -----BEGIN ENCRYPTED PRIVATE KEY-----\n...\n-----END ENCRYPTED PRIVATE KEY----- para una clave encriptada.

PRIVATE_KEY_ENCRYPTED

Opcional: Especifica true si la clave privada está encriptada con una frase de contraseña. El valor predeterminado es false.

PRIVATE_KEY_PASSPHRASE

Especifica la frase de contraseña de la clave privada encriptada. Incluye este parámetro solo si especificas KEY_PAIR en el parámetro auth_mechanism y true en el parámetro is_private_key_encrypted.

SERVICE_ACCOUNT_EMAIL

Especifica la dirección de correo electrónico de la cuenta de servicio dedicada que se usará con esta transferencia de datos, en el formato SERVICE_ACCOUNT_NAME@SERVICE_ACCOUNT_PROJECT_ID.. Recomendamos que la cuenta de servicio pertenezca al mismo proyecto de Google Cloud en el que se crean la configuración de transferencia y el conjunto de datos de destino. La cuenta de servicio debe tener los permisos necesarios storage.objects.list y storage.objects.get.

WAREHOUSE_NAME

Especifica un almacén que se use para ejecutar esta transferencia de datos.

Por ejemplo, COMPUTE_WH.

DATABASE_NAME

Especifica el nombre de la base de datos de Snowflake que contiene las tablas incluidas en esta transferencia de datos.

Por ejemplo, SF_DB.

SCHEMA_NAME

Especifica el nombre del esquema de Snowflake que contiene las tablas incluidas en esta transferencia de datos.

Por ejemplo, PUBLIC.

TABLE_NAME_PATTERNS

Especifica las tablas que se transferirán ingresando una lista separada por punto y coma de nombres de tablas o patrones que coincidan con los nombres de tablas en el esquema, como TABLE1_REGEX;TABLE2_REGEX. Los patrones deben seguir la sintaxis de las expresiones regulares de Java. Este parámetro es obligatorio. Por ejemplo:

  • lineitem;ordertb coincide con las tablas llamadas lineitem y ordertb.
  • .* coincide con todas las tablas del esquema.
CLOUD_PROVIDER

Especifica el proveedor de servicios en la nube que aloja tu cuenta de Snowflake. Los valores admitidos son AWS, AZURE y GCP.

STAGING_BUCKET_URI

Para el parámetro staging_gcs_uri, especifica el URI del bucket de etapa de pruebas de Cloud Storage. Incluye este parámetro cuando cloud_provider sea GCP o para transferencias de datos públicas desde cuentas de Snowflake alojadas en AWS o AZURE. No puedes modificar este parámetro después de crear la configuración de transferencia.

Por ejemplo, gs://staging-bucket/staging/.

STAGING_S3_URI

Para el parámetro staging_s3_uri, especifica el URI del bucket de etapa de pruebas de Amazon S3. Incluye este parámetro para las transferencias de datos privados cuando cloud_provider sea AWS y no se especifique staging_gcs_uri. No puedes modificar este parámetro después de crear la configuración de transferencia.

Por ejemplo, s3://staging-bucket/staging/.

AWS_ACCESS_KEY_ID

En el parámetro aws_access_key_id, especifica el ID de la clave de acceso del usuario de IAM de Amazon con acceso de lectura al bucket de etapa de pruebas de Amazon S3. Incluye este parámetro cuando se especifique staging_s3_uri.

AWS_SECRET_ACCESS_KEY

Para el parámetro aws_secret_access_key, especifica la clave de acceso secreta vinculada con aws_access_key_id. Incluye este parámetro cuando se especifique staging_s3_uri.

AZURE_STORAGE_ACCOUNT

Para el parámetro azure_storage_account, especifica el nombre de la cuenta de almacenamiento de Azure que se usa para almacenar en etapa intermedia los datos descargados. Incluye este parámetro para las transferencias de datos privadas cuando cloud_provider sea AZURE y no se especifique staging_gcs_uri. No puedes modificar este parámetro después de crear la configuración de transferencia.

STAGING_AZURE_CONTAINER

Para el parámetro staging_azure_container, especifica el nombre del contenedor de Azure Blob Storage en la cuenta de almacenamiento de Azure. Incluye este parámetro cuando se especifique azure_storage_account. No puedes modificar este parámetro después de crear la configuración de transferencia.

AZURE_SAS_TOKEN

Para el parámetro azure_sas_token, especifica el token de firma de acceso compartido (SAS) que se usa para autenticar las solicitudes de lectura en el contenedor de Azure Blob Storage. Incluye este parámetro cuando se especifique azure_storage_account.

STORAGE_INTEGRATION_NAME

Especifica el nombre del objeto de integración de almacenamiento de Snowflake.

Por ejemplo, STORAGE_INTEGRATION_NAME.

MAX_FILE_SIZE_MB

Opcional: Especifica el tamaño máximo, en MB, de cada archivo descargado de Snowflake a la ubicación de etapa de pruebas. El valor debe estar entre 16 y 5120. El valor predeterminado es 512.

USE_PRIVATE_NETWORK

Opcional: Si creas una transferencia de datos privada, configúrala como true. El valor predeterminado es false. No puedes modificar este parámetro después de crear la configuración de transferencia.

SERVICE_ATTACHMENT_URI

Opcional: Si creas una transferencia de datos privada, especifica el URI del adjunto de servicio para la conectividad privada a Snowflake. Para obtener más información, consulta Crea una configuración de transferencia privada de Snowflake.

Por ejemplo, projects/PROJECT_ID/regions/REGION/serviceAttachments/SERVICE_ATTACHMENT.

SERVICE_DIRECTORY_LINK

Opcional: Si creas una transferencia de datos privada desde una cuenta de Snowflake alojada en AWS o AZURE, especifica el vínculo propio del servicio del Directorio de servicios para el balanceador de cargas de red. Para obtener más información, consulta Crea una configuración de transferencia privada de Snowflake.

Por ejemplo, projects/PROJECT_ID/locations/LOCATION/namespaces/NAMESPACE/services/SERVICE_NAME.

INGESTION_TYPE

Especifica el modo de transferencia de datos. Los valores admitidos son Full y Incremental. Para obtener más información, consulta Configura transferencias incrementales.

SPECIFY_TRANSLATION_OUTPUT

Opcional: Especifica true cuando proporciones una ruta de acceso en el parámetro translation_output_gcs_path para que se muestre en la consola de Google Cloud . El valor predeterminado es false.

TRANSLATION_OUTPUT_GCS_PATH

Opcional: Especifica una ruta de acceso a la carpeta de Cloud Storage que contiene los archivos de asignación de esquemas del motor de traducción. Deja este parámetro sin configurar para que el conector de Snowflake detecte automáticamente tu esquema.

  • La ruta de acceso debe seguir el formato gs://TRANSLATION_BUCKET_BASE_URI/metadata/config/DATABASE_NAME/SCHEMA_NAME/ y debe terminar con una barra diagonal (/).

Por ejemplo, gs://sf_test_translation/output/metadata/config/database_name/schema_name/.

CUSTOM_SCHEMA_PATH

Opcional: Si usas un esquema personalizado, especifica la ruta de acceso al archivo de esquema personalizado en Cloud Storage.

Por ejemplo, gs://bucket_name/schemas/custom_schema.json.

CONVERT_NUMBER_TO_INT64

Opcional: Especifica true para asignar los tipos de datos NUMBER(p, 0) de Snowflake a INT64 de BigQuery. De lo contrario, los tipos de datos NUMBER de Snowflake se asignan a NUMERIC o BIGNUMERIC de BigQuery según su precisión y escala. El valor predeterminado es false.

API

Usa el método projects.locations.transferConfigs.create y suministra una instancia del recurso TransferConfig.

Configura una transferencia de Snowflake para la asignación de esquemas

El Servicio de transferencia de datos de BigQuery admite tres métodos de asignación de esquemas para las transferencias de Snowflake: detección automática de esquemas, resultado del motor de traducción y asignación manual de esquemas. Para obtener más información, consulta la referencia de detección y asignación de esquemas.

Para ver un ejemplo de una configuración de transferencia que admita cada uno de estos métodos de asignación de esquemas, selecciona una de las siguientes opciones:

Detección automática

La referencia de detección automática de esquemas asigna automáticamente los tipos de datos de Snowflake a los tipos de datos equivalentes de BigQuery sin necesidad de metadatos externos ni archivos de definición de esquemas.

En el siguiente comando, se muestra cómo crear una configuración de transferencia que use la detección automática de esquemas:

bq mk \
  --transfer_config \
  --project_id=PROJECT_ID \
  --data_source=snowflake_migration \
  --target_dataset=DATASET_NAME \
  --display_name='Snowflake Auto Detection Transfer' \
  --params='{
    "account_identifier": "ACCOUNT_IDENTIFIER",
    "username": "MIGRATION_USER",
    "auth_mechanism": "KEY_PAIR",
    "private_key": "PRIVATE_KEY_STRING",
    "service_account": "SERVICE_ACCOUNT_EMAIL",
    "warehouse": "WAREHOUSE_NAME",
    "database": "DATABASE_NAME",
    "schema": "SCHEMA_NAME",
    "table_name_patterns": "orders;lineitem",
    "cloud_provider": "GCP",
    "staging_gcs_uri": "gs://STAGING_BUCKET_NAME/staging/",
    "storage_integration_object_name": "STORAGE_INTEGRATION_NAME",
    "ingestion_type": "Full"
  }'

Resultado de la traducción

Usa los metadatos y la asignación de esquemas que genera el traductor de SQL por lotes de BigQuery para controlar las asignaciones complejas de tablas y tipos de datos. Para obtener más información, consulta Configuración del esquema de salida de la traducción.

En el siguiente comando, se muestra cómo crear una configuración de transferencia que use el resultado del motor de traducción para la asignación de esquemas:

bq mk \
  --transfer_config \
  --project_id=PROJECT_ID \
  --data_source=snowflake_migration \
  --target_dataset=DATASET_NAME \
  --display_name='Snowflake Translation Output Transfer' \
  --params='{
    "account_identifier": "ACCOUNT_IDENTIFIER",
    "username": "MIGRATION_USER",
    "auth_mechanism": "KEY_PAIR",
    "private_key": "PRIVATE_KEY_STRING",
    "service_account": "SERVICE_ACCOUNT_EMAIL",
    "warehouse": "WAREHOUSE_NAME",
    "database": "DATABASE_NAME",
    "schema": "SCHEMA_NAME",
    "table_name_patterns": "orders;lineitem",
    "cloud_provider": "GCP",
    "staging_gcs_uri": "gs://STAGING_BUCKET_NAME/staging/",
    "storage_integration_object_name": "STORAGE_INTEGRATION_NAME",
    "ingestion_type": "Full",
    "specify_translation_output": true,
    "translation_output_gcs_path": "gs://TRANSLATION_BUCKET/output/metadata/config/DATABASE_NAME/SCHEMA_NAME/"
  }'

Esquema personalizado

Proporciona un archivo de esquema JSON personalizado en Cloud Storage para cambiar el nombre de las columnas, personalizar los tipos de datos o designar claves primarias.

En el siguiente comando, se muestra cómo crear una configuración de transferencia que use un esquema personalizado para la asignación de esquemas:

bq mk \
  --transfer_config \
  --project_id=PROJECT_ID \
  --data_source=snowflake_migration \
  --target_dataset=DATASET_NAME \
  --display_name='Snowflake Custom Schema Transfer' \
  --params='{
    "account_identifier": "ACCOUNT_IDENTIFIER",
    "username": "MIGRATION_USER",
    "auth_mechanism": "KEY_PAIR",
    "private_key": "PRIVATE_KEY_STRING",
    "service_account": "SERVICE_ACCOUNT_EMAIL",
    "warehouse": "WAREHOUSE_NAME",
    "database": "DATABASE_NAME",
    "schema": "SCHEMA_NAME",
    "table_name_patterns": "orders;lineitem",
    "cloud_provider": "GCP",
    "staging_gcs_uri": "gs://STAGING_BUCKET_NAME/staging/",
    "storage_integration_object_name": "STORAGE_INTEGRATION_NAME",
    "ingestion_type": "Full",
    "custom_schema_file_path": "gs://CONFIG_BUCKET/schemas/custom_schema.json"
  }'

Especifica la clave de encriptación con transferencias

Puedes especificar claves de encriptación administradas por el cliente (CMEKs) para encriptar los datos de una ejecución de transferencia. Puedes usar una CMEK para admitir transferencias de Snowflake.

Cuando especificas una CMEK con una transferencia, el Servicio de transferencia de datos de BigQuery aplica la CMEK a cualquier memoria caché del disco intermedia de datos transferidos para que todo el flujo de trabajo de transferencia de datos cumpla con la CMEK.

No puedes actualizar una transferencia existente para agregar una CMEK si la transferencia no se creó en un principio con una CMEK. Por ejemplo, no puedes cambiar una tabla de destino que se encriptó de forma predeterminada para que ahora se encripte con CMEK. Por el contrario, tampoco puedes cambiar una tabla de destino encriptada con CMEK para que tenga un tipo de encriptación diferente.

Puedes actualizar una CMEK para una transferencia si la configuración de transferencia se creó en un principio con una encriptación de CMEK. Cuando actualizas una CMEK para una configuración de transferencia, el Servicio de transferencia de datos de BigQuery propaga la CMEK a las tablas de destino en la siguiente ejecución de la transferencia, en la que el Servicio de transferencia de datos de BigQuery reemplaza cualquier CMEK desactualizada por la CMEK nueva durante la ejecución de la transferencia. Para obtener más información, consulta Actualiza una transferencia.

También puedes usar las claves predeterminadas del proyecto. Cuando especificas una clave predeterminada de proyecto con una transferencia, el Servicio de transferencia de datos de BigQuery usa la clave predeterminada del proyecto como la clave predeterminada para cualquier configuración de transferencia nueva.

Cuotas y límites

De forma predeterminada, BigQuery tiene una cuota de carga de 15 TB para cada trabajo de carga por cada tabla. De forma interna, Snowflake comprime los datos de la tabla, por lo que el tamaño de la tabla exportada es mayor que el tamaño de la tabla informado por Snowflake.

Para mejorar los tiempos de carga de las tablas más grandes y quitar el límite de carga de 15 TB de BigQuery, especifica el tipo de trabajo PIPELINE para tu asignación de reserva.

Debido al modelo de coherencia de Amazon S3, es posible que algunos archivos no se incluyan en la transferencia a BigQuery.

Optimiza el rendimiento de la transferencia de datos

Puedes supervisar el rendimiento de tus transferencias de datos consultando los registros de la transferencia de datos. Para mejorar el rendimiento de tus transferencias de datos, te recomendamos que realices los siguientes pasos de optimización:

  • Mantén tu instancia de Snowflake, el bucket de etapa de pruebas y el conjunto de datos de BigQuery en la misma región
  • Puedes mejorar la velocidad de descarga de las tablas de la siguiente manera:
    • Aumenta el tamaño de tu almacén virtual de Snowflake, en especial cuando transfieras tablas grandes de Snowflake (1 TiB o más).
    • Ajusta la opción MAX_FILE_SIZE en la configuración de transferencia.
      • Los tamaños de archivo más pequeños pueden mejorar las velocidades de transferencia, pero si son demasiado pequeños, puede haber demasiados archivos.
  • Puedes mejorar las velocidades de carga de las tablas aumentando la cantidad de reservas de ranura de BigQuery para los tipos de trabajos PIPELINE y QUERY.
  • Cuando realices una transferencia completa, evita agrupar en clústeres y particionar la tabla de BigQuery de destino.
  • Cuando realices una transferencia incremental en el modo Actualizar o insertar, considera agrupar en clústeres y particionar las columnas de clave primaria para mejorar el rendimiento de la transferencia.
    • Sin embargo, evita agrupar en clústeres y particionar en columnas que no sean de clave primaria para evitar operaciones de combinación más lentas.

Precios

Para obtener información sobre los precios del Servicio de transferencia de datos de BigQuery, consulta la página Precios.

  • Si el almacén de Snowflake y el bucket de Amazon S3 están en regiones diferentes, Snowflake aplica cargos de salida cuando ejecutas una transferencia de datos de Snowflake. No hay cargos de salida por las transferencias de datos de Snowflake si el almacén de Snowflake y el bucket de Amazon S3 se encuentran en la misma región.
  • Cuando los datos se transfieren de AWS a Google Cloud, se aplican cargos de salida entre nubes.

¿Qué sigue?