Migración de Snowflake a BigQuery

En este documento, se proporciona una introducción sobre cómo migrar de Snowflake a BigQuery. En las siguientes secciones, se presentan las herramientas de migración para ayudarte a realizar una migración a BigQuery y se describen algunas diferencias entre Snowflake y BigQuery para ayudarte a planificar la migración.

Migra flujos de trabajo de Snowflake a BigQuery

Cuando planifiques una migración a BigQuery, considera los diferentes flujos de trabajo que tienes en Snowflake y cómo podrías migrarlos de forma individual. Para minimizar el impacto en tus operaciones existentes, te recomendamos migrar tus consultas en SQL a BigQuery y, luego, migrar tu esquema y código.

Migra consultas en SQL

Para migrar tus consultas en SQL, el Servicio de migración de BigQuery ofrece varias funciones de traducción de SQL para automatizar la conversión de tus consultas en SQL de Snowflake a SQL de GoogleSQL, como el traductor de SQL por lotes para traducir consultas de forma masiva, el traductor de SQL interactivo para traducir consultas individuales y la API de traducción de SQL. Estos servicios de traducción también incluyen la funcionalidad mejorada de Gemini para simplificar aún más el proceso de migración de consulta en SQL.

A medida que traduces tus consultas en SQL, revisa con atención las consultas traducidas para verificar que los tipos de datos y las estructuras de las tablas se manejen de forma correcta. Para ello, te recomendamos que crees una amplia variedad de casos de prueba con diferentes situaciones y datos. Luego, ejecuta estos casos de prueba en BigQuery para comparar los resultados con los resultados originales de Snowflake. Si hay diferencias, analiza y corrige las consultas convertidas.

Migra el esquema y el código

Para migrar el esquema y los datos de Snowflake, usa el conector de Snowflake en el Servicio de transferencia de datos de BigQuery para configurar una transferencia de datos. Cuando configuras la transferencia de datos, puedes especificar tablas de Snowflake concretas para incluir y, además, hacer que el conector detecte automáticamente el esquema y los tipos de datos de la tabla durante una transferencia.

Para obtener más información sobre cómo configurar una transferencia de datos de Snowflake, consulta Programa una transferencia de Snowflake.

Transferencia incremental

Cuando realizas una transferencia de datos de Snowflake con el conector de Snowflake, puedes configurar una transferencia incremental que solo transfiera los datos que se modificaron desde la última transferencia de datos, en lugar de cargar todo el conjunto de datos con cada transferencia de datos. Para obtener más información, consulta Programa una transferencia de Snowflake.

Migra otras funciones de Snowflake

Ten en cuenta las siguientes funciones de Snowflake cuando planifiques tu migración a BigQuery.

Caso de uso Función de Snowflake Atributo de BigQuery
Almacena en etapa de pruebas archivos de datos sin procesar para cargarlos y exportarlos Los datos se pueden subir y descargar en el almacenamiento en etapa intermedia con los comandos "GET" y "PUT". Las consultas y los comandos `COPY` pueden leer y escribir en etapas. BigQuery depende de Cloud Storage para almacenar en etapa intermedia los datos de archivos y admite la lectura y escritura en varias otras fuentes y servicios de Google Cloud . Usar Cloud Storage para subir y descargar archivos de datos sin procesar

Consulta Introducción a la carga de datos para obtener más detalles sobre las diversas formas de cargar datos desde Cloud Storage y otras fuentes, y consulta Introducción a la exportación de datos para obtener más detalles sobre la exportación a Cloud Storage y otras fuentes.
Preprocesamiento de resultados de consultas comunes Las tablas dinámicas se pueden definir con una consulta y actualizarse según un programa. Las vistas materializadas se pueden configurar para que persistan y actualicen automáticamente el cálculo de las consulta en SQL.
Operaciones de DML pequeñas Las tablas híbridas de Snowflake permiten escrituras de DML pequeñas. DML detallado se puede usar en BigQuery para mejorar la latencia y la capacidad de procesamiento de escrituras pequeñas.

Para casos de uso avanzados de procesamiento híbrido transaccional/analítico (HTAP), considera usar conjuntos de datos externos de Spanner.
Notebooks y visualización Las aplicaciones de Streamlit de Snowflake pueden visualizar datos con código de Python. Los notebooks de BigQuery y la biblioteca de Python de BigFrames se pueden usar para explorar y visualizar datos en Python. Para obtener información sobre las integraciones en Looker y otras herramientas de análisis y visualización, consulta Introducción a las herramientas de análisis y de inteligencia empresarial.
Diseño de datos físicos Snowflake admite el agrupamiento en clústeres y la micropartición para organizar los datos en el disco. BigQuery admite la partición y el agrupamiento en clústeres explícitos para brindarles a los usuarios un control preciso sobre cómo se distribuyen y organizan los datos, lo que puede mejorar el costo y el rendimiento del tiempo de ejecución.

El servicio de traducción de SQL controla automáticamente la traducción de agrupamiento en clústeres de tablas y se puede configurar para personalizar la partición y el agrupamiento en clústeres cuando se migran DDL.
Funciones y procedimientos externos Snowflake admite funciones y procedimientos almacenados implementados en varios lenguajes externos. BigQuery admite llamadas a funciones externas a través de Cloud Run Functions. También puedes usar [funciones definidas por el usuario](/bigquery/docs/user-defined-functions) (UDF), como UDF de SQL, que se ejecutan en BigQuery.

BigQuery admite SQL para procedimientos almacenados. Para otros lenguajes, recomendamos usar funciones externas o lógica de aplicación del cliente.

Funciones de seguridad de BigQuery

Cuando migres de Snowflake a BigQuery, ten en cuenta cómo Google Cloud maneja la seguridad de manera diferente a Snowflake.

La seguridad en BigQuery está vinculada de forma intrínseca a Identity and Access Management (IAM) en Google Cloud. Los privilegios de IAM definen las operaciones que se permiten en un recurso y se aplican a nivel de Google Cloud , lo que proporciona un enfoque centralizado y coherente para la administración de la seguridad. A continuación, se indican algunas funciones de seguridad clave de Google Cloud:

  • Seguridad integrada: BigQuery aprovecha las funciones de seguridad de Google Cloud. Esto incluye IAM para un control de acceso detallado y una integración de seguridad sólida y sin problemas.
  • Seguridad a nivel de recurso: IAM se enfoca en el control de acceso a nivel de recurso, lo que otorga permisos a los usuarios y grupos para varios recursos y servicios de BigQuery. Este enfoque permite administrar de forma eficaz los derechos de acceso para que los usuarios solo tengan los permisos necesarios para realizar sus tareas.
  • Seguridad de redes: BigQuery se beneficia de las funciones de seguridad de redes sólidas de Google Cloud, como la nube privada virtual y las conexiones privadas.

Cuando migres de Snowflake a BigQuery, ten en cuenta los siguientes requisitos de migración relacionados con la seguridad:

  • Configuración de IAM: Debes configurar los roles y permisos de IAM en BigQuery para que coincidan con tus políticas de control de acceso de Snowflake existentes. Esto implica asignar roles de Snowflake a los roles y permisos de IAM de BigQuery adecuados.
  • Control de acceso detallado: Si usas la seguridad a nivel de fila o de columna en Snowflake, deberás implementar controles equivalentes en BigQuery con vistas autorizadas o etiquetas de política.
  • Migración de vistas y UDF: Cuando migres vistas y UDF, verifica que los controles de seguridad asociados se traduzcan de forma correcta a vistas autorizadas y UDF autorizadas en BigQuery.

Encriptación

BigQuery encripta tus datos en reposo y en tránsito de forma predeterminada. Si necesitas más control sobre las claves de encriptación, BigQuery admite claves de encriptación administradas por el cliente en Cloud Key Management Service. También puedes usar la encriptación a nivel de columna.

Para mantener la seguridad de los datos durante y después de la migración a BigQuery, ten en cuenta lo siguiente:

  • Administración de claves: Si necesitas claves administradas por el cliente, establece una estrategia de administración de claves en Cloud Key Management Service y configura BigQuery para usar esas claves.
  • Enmascaramiento de datos/Asignación de tokens: Si hay datos sensibles involucrados, evalúa si se requiere el enmascaramiento de datos o la asignación de tokens para protegerlos.
  • Seguridad a nivel de fila: Implementa la seguridad a nivel de fila con vistas autorizadas, filtros de seguridad a nivel de fila o cualquier otro método adecuado.
  • Análisis de vulnerabilidades y pruebas de penetración: Realiza análisis de vulnerabilidades y pruebas de penetración con regularidad para verificar la postura de seguridad de tu entorno de BigQuery.

Funciones

Los roles son las entidades a las que se les pueden otorgar y revocar privilegios en objetos que se pueden proteger.

En IAM, los permisos se agrupan en roles. IAM proporciona tres tipos de roles:

  • Roles básicos: estos roles incluyen los roles de propietario, editor y visualizador. Puedes aplicar estos roles en los niveles de recursos de proyecto o servicio con la consola deGoogle Cloud , la API de Identity and Access Management o gcloud CLI. En general, para obtener la seguridad más sólida, recomendamos que uses roles predefinidos para seguir el principio de privilegio mínimo.
  • Roles predefinidos: estos roles proporcionan un acceso más detallado a las funciones de un producto (como BigQuery) y están diseñados para admitir casos de uso comunes y patrones de control de acceso.
  • Roles personalizados: estos roles se componen de permisos especificados por el usuario.

Control de acceso

Snowflake te permite otorgar roles a otros roles, lo que crea una jerarquía de roles. IAM no admite una jerarquía de roles, pero implementa una jerarquía de recursos. La jerarquía de IAM incluye el nivel de organización, el nivel de carpeta, el nivel de proyecto y el nivel de recurso. Puedes establecer roles de IAM en cualquier nivel de la jerarquía, y los recursos heredan todas las políticas de sus recursos superiores.

BigQuery admite el control de acceso a nivel de tabla. Los permisos a nivel de tabla determinan los usuarios, grupos y cuentas de servicio que pueden acceder a una tabla o vista. Puedes otorgar a un usuario acceso a tablas o vistas específicas sin que tenga acceso al conjunto de datos completo.

Para obtener un acceso más detallado, también puedes usar el control de acceso a nivel de columna o la seguridad a nivel de la fila. Este tipo de control proporciona un acceso detallado a columnas sensibles mediante el uso de etiquetas de política o clasificaciones de datos basadas en tipos.

También puedes crear vistas autorizadas para limitar el acceso a los datos y obtener un control de acceso detallado, de modo que los usuarios especificados puedan consultar una vista sin tener acceso de lectura a las tablas subyacentes.

Tipos de datos, propiedades y formatos de archivo admitidos

Snowflake y BigQuery admiten la mayoría de los mismos tipos de datos, aunque a veces usan nombres diferentes. Para obtener una lista completa de los tipos de datos compatibles en Snowflake y BigQuery, consulta Tipos de datos. También puedes usar herramientas de traducción de SQL, como el traductor de SQL interactivo, la API de traducción de SQL o el traductor de SQL por lotes, para traducir diferentes dialectos de SQL a GoogleSQL.

Para obtener más información sobre los tipos de datos compatibles con BigQuery, consulta Tipos de datos de GoogleSQL.

Snowflake puede exportar datos en los siguientes formatos de archivo. Puedes cargar los siguientes formatos directamente en BigQuery:

Herramientas de migración

En la siguiente lista, se describen las herramientas que puedes usar para migrar datos de Snowflake a BigQuery. Para ver ejemplos de cómo se pueden usar estas herramientas juntas en una canalización de migración de Snowflake, consulta Ejemplos de canalizaciones de migración de Snowflake.

Puedes usar las siguientes herramientas genéricas para migrar datos de Snowflake a BigQuery:

Para obtener más información sobre la carga de datos en BigQuery, consulta Carga datos en BigQuery.

Precios

Cuando planifiques tu migración de Snowflake, ten en cuenta el costo de transferir datos, almacenarlos y usar servicios en BigQuery. Para obtener más información, consulta Precios.

Puede haber costos de salida por mover datos fuera de Snowflake o AWS. También puede haber costos adicionales cuando se transfieren datos entre regiones o entre diferentes proveedores de servicios en la nube.

Comenzar

En las siguientes secciones, se resume el proceso de migración de Snowflake a BigQuery:

Ejecuta una evaluación de migración

En la migración de Snowflake a BigQuery, te recomendamos que comiences ejecutando la herramienta de evaluación de migración de BigQuery para evaluar la viabilidad y los posibles beneficios de mover tu almacén de datos de Snowflake a BigQuery. Esta herramienta proporciona un enfoque estructurado para comprender tu entorno actual de Snowflake y estimar el esfuerzo que implica una migración exitosa.

La ejecución de la herramienta de evaluación de migración de BigQuery produce un informe de evaluación que contiene las siguientes secciones:

  • Informe del sistema existente: Es una instantánea del sistema y el uso de Snowflake existentes, incluida la cantidad de bases de datos, esquemas, tablas y el tamaño total en TB. También se enumeran los esquemas por tamaño y se apunta al posible uso de recursos deficientes, como tablas sin escrituras o pocas lecturas.
  • Sugerencias de transformación de estado estable de BigQuery: Muestra cómo se verá el sistema en BigQuery después de la migración. Incluye sugerencias para optimizar las cargas de trabajo en BigQuery y evitar el desperdicio.
  • Plan de migración: Proporciona información sobre el esfuerzo de migración. Por ejemplo, pasar del sistema existente al estado estable de BigQuery. En esta sección, se incluye el recuento de consultas que se tradujeron de forma automática y el tiempo esperado para mover cada tabla a BigQuery.

Para obtener más información sobre los resultados de una evaluación de migración, consulta Revisa el informe de Data Studio.

Valida la migración

Una vez que hayas migrado tus datos de Snowflake a BigQuery, ejecuta la Herramienta de validación de datos (DVT) para realizar una validación de tus datos de BigQuery recién migrados. La DVT valida varias funciones, desde el nivel de la tabla hasta el nivel de la fila, para verificar que los datos migrados funcionen según lo previsto.