Programa preparaciones de datos

En este documento, se describe cómo programar y ejecutar de forma manual trabajos de preparación de datos en BigQuery para automatizar tus flujos de trabajo de transformación de datos. Si bien la programación garantiza que tus datos se mantengan actualizados y precisos sin necesidad de intervención manual, también puedes ejecutar manualmente tus preparaciones de datos para probar y validar las transformaciones antes de la implementación. Las preparaciones de datos se realizan con Dataform.

Puedes programar preparaciones de datos con credenciales de usuario para una Cuenta de Google o con una cuenta de servicio personalizada.

Antes de comenzar

Antes de comenzar, crea una preparación de datos.

Requisitos de los Controles del servicio de VPC

Si usas los Controles del servicio de VPC para proteger tus preparaciones de datos, debes saber que Dataform impulsa las ejecuciones programadas. Cuando configures los Controles del servicio de VPC para ejecuciones programadas, asegúrate de que se cumplan los siguientes requisitos:

• Debes configurar el dataform.restrictGitRemotes servicio de políticas de la organización.
• Dataform y BigQuery deben estar restringidos por el mismo perímetro de servicio de los Controles del servicio de VPC.
• Para permitir que los usuarios se autentiquen con las credenciales de usuario de su Cuenta de Google cuando programen o activen ejecuciones de forma manual, debes agregar sus identidades de usuario a tus reglas de entrada. Para obtener más información, consulta Actualiza las políticas de entrada y salida de un perímetro de servicio y Referencia de las reglas de entrada.

Para conocer los pasos de configuración detallados y las consideraciones de seguridad, consulta Configura los Controles del servicio de VPC para Dataform.

Roles obligatorios

Para autorizar una preparación de datos con una cuenta de servicio cuando ejecutas manualmente la preparación de datos en el desarrollo o programas la preparación de datos, debes otorgar roles a la cuenta de servicio que planeas usar para ejecutar las ejecuciones de preparación de datos. Para obtener más información, consulta Cómo otorgar acceso a la cuenta de servicio de Dataform.

Para programar preparaciones de datos, haz lo siguiente:

• Pídele a tu administrador que te otorgue el rol de usuario de cuenta de servicio (roles/iam.serviceAccountUser) en la cuenta de servicio personalizada.
• Otorga el rol de usuario de cuenta de servicio (roles/iam.serviceAccountUser) y el rol de creador de tokens de cuenta de servicio (roles/iam.serviceAccountTokenCreator) al agente de servicio predeterminado de Dataform en la cuenta de servicio personalizada.

Para mejorar la seguridad de la programación, consulta Implementa permisos de programación mejorados.

Desarrolla una preparación de datos

A medida que desarrollas una preparación de datos, puedes ejecutar los pasos de forma manual y, luego, inspeccionar el resultado antes de implementar los cambios en la producción. Puedes probar la versión actual que estás desarrollando con tus datos, mientras BigQuery sigue ejecutando la versión implementada más reciente, según un programa. Antes de ejecutar la operación, debes configurar el destino y corregir cualquier error de validación.

Ejecuta manualmente una preparación de datos en el desarrollo

Para probar los pasos de preparación de datos y validar los resultados en tu tabla de destino, ejecuta la preparación de datos de forma manual desde el editor de preparación de datos:

1. En la consola de Google Cloud , ve a la página BigQuery.

   Ir a BigQuery

2. En el panel de la izquierda, haz clic en Explorar.

   

   Si no ves el panel izquierdo, haz clic en Expandir panel izquierdo para abrirlo.

3. En el panel Explorador, expande tu proyecto y haz clic en Preparaciones de datos.

4. Haz clic en el nombre de la preparación de datos que deseas ejecutar.

5. En la barra de herramientas del editor de preparación de datos, haz clic en Más > Configurar la experiencia de ejecución inmediata.

6. En la sección Autenticación, autoriza la preparación de datos con las credenciales de usuario de tu Cuenta de Google o una cuenta de servicio.

   • Para usar las credenciales de usuario de tu Cuenta de Google, selecciona Ejecutar con mis credenciales de usuario. Esta es la opción predeterminada.

     Opcional: En la sección Opciones de acceso extendido, selecciona los servicios adicionales que requiere tu preparación de datos:

     • Google Drive: Permite el acceso de solo lectura a los archivos de Google Drive.

   • Para usar una cuenta de servicio, selecciona Ejecutar con la cuenta de servicio seleccionada y, luego, selecciona una cuenta de servicio. Si la cuenta de servicio necesita permisos adicionales, haz clic en Otorgar todo para otorgarle los roles requeridos.

   Nota: Para autenticar una preparación de datos que usa Google Drive como fuente de datos con las credenciales de usuario de la Cuenta de Google, selecciona el servicio Google Drive en la sección Opciones de acceso extendido. Para autenticar la preparación de datos con una cuenta de servicio, comparte el archivo de Google Drive con esa cuenta de servicio.

7. Haz clic en Guardar.

8. Corrige los errores de validación que aparezcan.

9. En la barra de herramientas del editor de preparación de datos, haz clic en Ejecutar.

10. En el diálogo Ejecutar ahora, haz clic en Confirmar para confirmar que esta ejecución manual escribe datos en una tabla de destino, que también podrías usar para ejecuciones programadas.

    Si seleccionaste Ejecutar con mis credenciales de usuario como método de autenticación, debes autorizar tu Cuenta de Google.

    Luego, la ejecución lleva a cabo los pasos y carga el resultado en el destino.

11. Opcional: Una vez que se complete la ejecución, puedes ver los detalles sobre la ejecución en el panel Ejecuciones.

Implementa una preparación de datos

Para programar ejecuciones de una versión de tu preparación de datos, primero debes guardar e implementar tus cambios. Las programaciones siempre ejecutan la versión implementada más reciente y omiten los cambios no implementados.

Para implementar una preparación de datos, sigue estos pasos:

1. En la consola de Google Cloud , ve a la página BigQuery.

   Ir a BigQuery

2. En el panel de la izquierda, haz clic en Explorar.

   

3. En el panel Explorador, expande tu proyecto y haz clic en Preparaciones de datos.

4. Haz clic en el nombre de la preparación de datos elegida.

   Se abrirá el editor de preparación de datos.

5. En la barra de herramientas del editor de preparación de datos, haz clic en Implementar.

Crear una programación

Sugerencia: También puedes usar la página Canalizaciones y conexiones para programar una preparación de datos con un flujo de trabajo optimizado y específico de BigQuery. Esta función está en vista previa.

Para crear una programación que ejecute los pasos de preparación de datos implementados y cargue los datos preparados en la tabla de destino, primero debes programar una ejecución de preparación de datos. Para programar la ejecución, debes configurar el destino y corregir los errores de validación.

Para crear una programación de preparación de datos, sigue estos pasos:

Panel Explorador

1. En la consola de Google Cloud , ve a la página BigQuery.

   Ir a BigQuery

2. En el panel de la izquierda, haz clic en Explorar.

   

3. En el panel Explorador, expande tu proyecto y haz clic en Preparaciones de datos.

4. Haz clic en el nombre de la preparación de datos que deseas programar.

5. En la barra de herramientas del editor de preparación de datos, haz clic en Programar.

6. Ingresa un nombre para la programación.

7. En la sección Autenticación, autoriza la preparación de datos con las credenciales de usuario de tu Cuenta de Google o una cuenta de servicio.

   • Para usar las credenciales de usuario de tu Cuenta de Google, selecciona Ejecutar con mis credenciales de usuario.

     Opcional: En la sección Opciones de acceso extendido, selecciona los servicios adicionales que requiere tu preparación de datos:

     • Google Drive: Permite el acceso de solo lectura a los archivos de Google Drive.

   • Para usar una cuenta de servicio, selecciona Ejecutar con la cuenta de servicio seleccionada y, luego, selecciona una cuenta de servicio.

   Nota: Para autenticar una preparación de datos que usa Google Drive como fuente de datos con las credenciales de usuario de la Cuenta de Google, selecciona el servicio Google Drive en la sección Opciones de acceso extendido. Para autenticar la preparación de datos con una cuenta de servicio, comparte el archivo de Google Drive con esa cuenta de servicio.

8. Programa una frecuencia.

9. Haz clic en Crear programación. Si seleccionaste Ejecutar con mis credenciales de usuario como método de autenticación, debes autorizar tu Cuenta de Google.

Página Programación

1. En la consola de Google Cloud , ve a la página Scheduling.

   Ir a Programación

2. Haz clic en Crear y, luego, selecciona Programa de preparación de datos en el menú.

3. En el panel Programar preparación de datos, en el campo Preparación de datos, selecciona la preparación de datos que deseas programar.

4. En el campo Nombre de la programación, ingresa un nombre para la programación.

5. En la sección Autenticación, autoriza la preparación de datos con las credenciales de usuario de tu Cuenta de Google o una cuenta de servicio.

   • Para usar las credenciales de usuario de tu Cuenta de Google, selecciona Ejecutar con mis credenciales de usuario.

     Opcional: En la sección Opciones de acceso extendido, selecciona los servicios adicionales que requiere tu preparación de datos:

     • Google Drive: Permite el acceso de solo lectura a los archivos de Google Drive.

   • Para usar una cuenta de servicio, selecciona Ejecutar con la cuenta de servicio seleccionada y, luego, selecciona una cuenta de servicio.

   Nota: Para autenticar una preparación de datos que usa Google Drive como fuente de datos con las credenciales de usuario de la Cuenta de Google, selecciona el servicio Google Drive en la sección Opciones de acceso extendido. Para autenticar la preparación de datos con una cuenta de servicio, comparte el archivo de Google Drive con esa cuenta de servicio.

6. En la sección frecuencia de programación, haz lo siguiente:

   1. En el menú Se repite, selecciona la frecuencia con la que se ejecutan las preparaciones de datos.
   2. En el campo En el momento, ingresa la hora de las ejecuciones programadas de preparación de datos.
   3. En el menú Zona horaria, selecciona la zona horaria para la programación.

7. Haz clic en Crear programación. Si seleccionaste Ejecutar con mis credenciales de usuario como método de autenticación, debes autorizar tu Cuenta de Google.

Autoriza tu Cuenta de Google

Para autenticar el recurso con las credenciales de usuario de tu Cuenta de Google, debes otorgar permiso de forma manual a las canalizaciones de BigQuery para obtener el token de acceso de tu Cuenta de Google y acceder a los datos de origen en tu nombre. Puedes otorgar la aprobación manual con la interfaz del diálogo de OAuth. Si seleccionas alguna de las opciones de acceso extendido, debes otorgar acceso a esos servicios, por ejemplo, Google Drive o Knowledge Catalog.

Nota: Las políticas de acceso adaptado al contexto (CAA), incluidas las políticas basadas en IP, ubicación geográfica y cumplimiento del dispositivo, no se admiten cuando se ejecutan o programan canalizaciones de BigQuery con credenciales de usuario para una Cuenta de Google, ya que las solicitudes de tokens se originan en la infraestructura de Google. Las políticas de CAA bloquean estas ejecuciones, a menos que el ID de cliente de OAuth de Dataform esté exento de las políticas.

Solo debes otorgar permiso a las canalizaciones de BigQuery una vez.

Para revocar el permiso que otorgaste, sigue estos pasos:

1. Ve a la página de tu Cuenta de Google.
2. Haz clic en BigQuery Pipelines.
3. Haga clic en Quitar acceso.

Advertencia: Si revocas los permisos de acceso, se evitarán todas las ejecuciones futuras de la canalización que posea esta Cuenta de Google en todas las regiones.

Cambiar el propietario de la programación de preparación de datos actualizando las credenciales también requiere aprobación manual si el nuevo propietario de la Cuenta de Google nunca antes creó una programación.

Ejecuta manualmente una preparación de datos programada

Cuando ejecutas manualmente una preparación de datos en un programa seleccionado, BigQuery ejecuta la preparación de datos una vez, independientemente del programa.

Para ejecutar manualmente una preparación de datos programada, sigue estos pasos:

1. En la consola de Google Cloud , ve a la página Scheduling.

   Ir a Programación

2. Haz clic en el nombre del programa de preparación de datos seleccionado.

3. En la página Detalles de la programación, haz clic en Ejecutar.

Ver agendas

Puedes ver los programas de preparación de datos en el editor de preparación de datos o en la página Programación.

Editor de preparación de datos

Para ver la programación de una preparación de datos, sigue estos pasos:

1. En la barra de herramientas del editor de preparación de datos, haz clic en Programar Ver programación.
2. Opcional: Para ver el historial de la programación, haz clic en Ver ejecuciones anteriores.

Página Programación

Para ver todos los programas de preparación de datos en tu proyecto, sigue estos pasos:

1. En la consola de Google Cloud , ve a la página Scheduling.

   Ir a Programación

2. Opcional: Para ver el historial de ejecución y los detalles de una programación seleccionada, haz clic en el nombre de la programación. No se muestra el historial de ejecuciones manuales.

Edita una planificación

Puedes editar un programa desde el editor de preparación de datos o la página Programación.

Editor de preparación de datos

Para editar una programación, sigue estos pasos:

1. En la barra de herramientas del editor de preparación de datos, haz clic en Programar Ver programación.
2. En el diálogo Programar la preparación de datos, haz clic en Editar y, luego, actualiza la programación.
3. Haz clic en Actualizar programación.

Página Programación

Para editar una programación, sigue estos pasos:

1. En la consola de Google Cloud , ve a la página Scheduling.

   Ir a Programación

2. Haz clic en el nombre del programa de preparación de datos seleccionado.

3. En la página Detalles de la programación, haz clic en Editar.

4. Haz clic en Ver programación.

5. En el diálogo Programar la preparación de datos, haz clic en Editar y, luego, actualiza la programación.

6. Haz clic en Actualizar programación.

Borra un programa

Para borrar de forma permanente una programación de una preparación de datos seleccionada, sigue estos pasos:

1. En la consola de Google Cloud , ve a la página Scheduling.

   Ir a Programación

2. En la fila que contiene la programación, haz clic en more_vert Acciones > Borrar.

¿Qué sigue?

• Obtén información para crear preparaciones de datos.
• Obtén más información para administrar las preparaciones de datos.