Activa ejecuciones de forma manual

En este documento, se muestra cómo activar de forma manual las ejecuciones de todo tu flujo de trabajo o solo de los elementos seleccionados en él.

Puedes activar una ejecución para los siguientes elementos de tu flujo de trabajo:

  • Todas las acciones de tu flujo de trabajo
  • Acciones seleccionadas
  • Acciones con las etiquetas seleccionadas

Antes de comenzar

  1. En la consola de Google Cloud , ve a la página Dataform.

    Ir a la página de Dataform

  2. Selecciona o crea un repositorio.

  3. Selecciona o crea un espacio de trabajo de desarrollo.

  4. Desarrolla tu flujo de trabajo.

Roles obligatorios

Para obtener los permisos que necesitas para activar una ejecución de forma manual, pídele a tu administrador que te otorgue los siguientes roles de IAM:

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

También puedes obtener los permisos necesarios a través de roles personalizados o cualquier otro rol predefinido.

Ejecuta manualmente todas las acciones de tu flujo de trabajo

Para activar de forma manual una ejecución de todas las acciones de tu flujo de trabajo, sigue estos pasos:

  1. Ve a un espacio de trabajo de desarrollo.
  2. Haz clic en Iniciar ejecución.
  3. Haz clic en Acciones > Acciones múltiples.

  4. En la sección Autenticación, autoriza la ejecución con las credenciales de usuario de tu Cuenta de Google o una cuenta de servicio.

    • Para usar las credenciales de usuario de tu Cuenta de Google, selecciona Ejecutar con credenciales de usuario.

      Opcional: En la sección Opciones de acceso extendido, selecciona los permisos adicionales que requiere tu flujo de trabajo:

      • Knowledge Catalog: Permite actualizaciones de metadatos de Google Cloud Knowledge Catalog.
      • Google Drive: Permite el acceso de solo lectura a los archivos de Google Drive.
      • Bigtable: Permite el acceso de solo lectura a los datos de Google Bigtable.

    • Para usar una cuenta de servicio personalizada, selecciona Ejecutar con la cuenta de servicio seleccionada y, luego, selecciona una cuenta de servicio personalizada.

  5. Selecciona Todas las acciones.

  6. Opcional: Para volver a compilar todas las tablas desde cero, selecciona la opción Ejecutar con actualización completa. Sin esta opción, Dataform actualiza las tablas incrementales sin volver a compilarlas desde cero.

  7. Opcional: Configura la prioridad del trabajo de consulta de BigQuery con la opción Ejecutar como trabajo interactivo con alta prioridad (predeterminada). De forma predeterminada, BigQuery ejecuta las consultas como trabajos de consulta interactivos, que están diseñados para comenzar a ejecutarse lo antes posible. Si desmarcas esta opción, las consultas se ejecutarán como trabajos de consulta por lotes, que tienen una prioridad más baja.

  8. Opcional: Para limitar la cantidad de acciones que se pueden ejecutar de forma simultánea durante la ejecución, selecciona Limitar acciones simultáneas y, en Cantidad máxima de acciones simultáneas, ingresa un número entero entre 1 y 5000.

    Si la cantidad de acciones listas supera el límite configurado, Dataform coloca las acciones listas restantes en una cola hasta que haya un espacio de simultaneidad disponible.

    El límite de acciones simultáneas no se admite cuando se ejecutan pruebas de unidades.

  9. Haz clic en Iniciar ejecución. Si seleccionaste Ejecutar con credenciales de usuario como método de autenticación, debes autorizar tu Cuenta de Google.

Ejecuta manualmente las acciones seleccionadas

Para activar manualmente una ejecución de las acciones seleccionadas, sigue estos pasos:

  1. Ve a tu espacio de trabajo de desarrollo.

  2. Haz clic en Iniciar ejecución y, luego, realiza una de las siguientes acciones:

    • Haz clic en Acciones y, luego, selecciona la acción que deseas ejecutar.
    • Haz clic en Acciones > Acciones múltiples.

  3. En la sección Autenticación, autoriza la ejecución con las credenciales de usuario de tu Cuenta de Google o una cuenta de servicio.

    • Para usar las credenciales de usuario de tu Cuenta de Google, selecciona Ejecutar con credenciales de usuario.

      Opcional: En la sección Opciones de acceso extendido, selecciona los servicios adicionales que requiere tu flujo de trabajo:

      • Knowledge Catalog: Permite actualizaciones de metadatos de Google Cloud Knowledge Catalog.
      • Google Drive: Permite el acceso de solo lectura a los archivos de Google Drive.
      • Bigtable: Permite el acceso de solo lectura a los datos de Google Bigtable.

    • Para usar una cuenta de servicio personalizada, selecciona Ejecutar con la cuenta de servicio seleccionada y, luego, selecciona una cuenta de servicio personalizada.

  4. Verifica que esté seleccionada la opción Selección de acciones.

  5. En el menú Seleccionar acciones para ejecutar, selecciona las acciones que deseas ejecutar.

  6. Opcional: Para ejecutar las acciones seleccionadas y sus dependencias, selecciona la opción Incluir dependencias.

  7. Opcional: Para ejecutar las acciones seleccionadas y las acciones que dependen de ellas, selecciona la opción Incluir dependientes.

  8. Opcional: Para volver a compilar todas las tablas desde cero, selecciona la opción Ejecutar con actualización completa.

  9. Opcional: Configura la prioridad del trabajo de consulta de BigQuery con la opción Ejecutar como trabajo interactivo con alta prioridad (predeterminada). De forma predeterminada, BigQuery ejecuta las consultas como trabajos de consulta interactivos, que están diseñados para comenzar a ejecutarse lo antes posible. Si desmarcas esta opción, las consultas se ejecutarán como trabajos de consulta por lotes, que tienen una prioridad más baja.

  10. Opcional: Para limitar la cantidad de acciones que se pueden ejecutar de forma simultánea durante la ejecución, selecciona Limitar acciones simultáneas y, en Cantidad máxima de acciones simultáneas, ingresa un número entero entre 1 y 5000.

    Si la cantidad de acciones listas supera el límite configurado, Dataform coloca las acciones listas restantes en una cola hasta que haya un espacio de simultaneidad disponible.

    El límite de acciones simultáneas no se admite cuando se ejecutan pruebas de unidades.

  11. Haz clic en Iniciar ejecución. Si seleccionaste Ejecutar con mis credenciales de usuario como método de autenticación, debes autorizar tu Cuenta de Google.

Ejecuta acciones de forma manual con las etiquetas seleccionadas

Para activar de forma manual una ejecución de acciones con etiquetas seleccionadas, sigue estos pasos:

  1. Ve a tu espacio de trabajo de desarrollo.

  2. Haz clic en Iniciar ejecución y, luego, realiza una de las siguientes acciones:

    • Haz clic en Etiquetas y, luego, selecciona la etiqueta que quieres ejecutar.
    • Haz clic en Etiquetas > Varias etiquetas.

  3. En la sección Autenticación, autoriza la ejecución con las credenciales de usuario de tu Cuenta de Google o una cuenta de servicio.

    • Para usar las credenciales de usuario de tu Cuenta de Google, selecciona Ejecutar con credenciales de usuario.

      Opcional: En la sección Opciones de acceso extendido, selecciona los servicios adicionales que requiere tu flujo de trabajo:

      • Knowledge Catalog: Permite actualizaciones de metadatos de Google Cloud Knowledge Catalog.
      • Google Drive: Permite el acceso de solo lectura a los archivos de Google Drive.
      • Bigtable: Permite el acceso de solo lectura a los datos de Google Bigtable.

    • Para usar una cuenta de servicio personalizada, selecciona Ejecutar con la cuenta de servicio seleccionada y, luego, selecciona una cuenta de servicio personalizada.

  4. Verifica que esté seleccionada la opción Selección de etiquetas.

  5. En el menú Seleccionar etiquetas para ejecutar, selecciona las etiquetas que deseas ejecutar.

  6. Opcional: Para ejecutar las acciones con las etiquetas seleccionadas y sus dependencias, selecciona la opción Incluir dependencias.

  7. Opcional: Para ejecutar las acciones con las etiquetas seleccionadas y las acciones que dependen de ellas, selecciona la opción Incluir dependientes.

  8. Opcional: Para volver a compilar todas las tablas desde cero, selecciona la opción Ejecutar con actualización completa. Sin esta opción, Dataform actualiza las tablas incrementales sin volver a compilarlas desde cero.

  9. Opcional: Configura la prioridad del trabajo de consulta de BigQuery con la opción Ejecutar como trabajo interactivo con alta prioridad (predeterminada). De forma predeterminada, BigQuery ejecuta las consultas como trabajos de consulta interactivos, que están diseñados para comenzar a ejecutarse lo antes posible. Si desmarcas esta opción, las consultas se ejecutarán como trabajos de consulta por lotes, que tienen una prioridad más baja.

  10. Opcional: Para limitar la cantidad de acciones que se pueden ejecutar de forma simultánea durante la ejecución, selecciona Limitar acciones simultáneas y, en Cantidad máxima de acciones simultáneas, ingresa un número entero entre 1 y 5000.

    Si la cantidad de acciones listas supera el límite configurado, Dataform coloca las acciones listas restantes en una cola hasta que haya un espacio de simultaneidad disponible.

    El límite de acciones simultáneas no se admite cuando se ejecutan pruebas de unidades.

  11. Haz clic en Iniciar ejecución. Si seleccionaste Ejecutar con mis credenciales de usuario como método de autenticación, debes autorizar tu Cuenta de Google.

Autoriza tu Cuenta de Google

Para autenticar el recurso con las credenciales de usuario de tu Cuenta de Google, debes otorgar permiso de forma manual a las canalizaciones de BigQuery para que obtengan el token de acceso de tu Cuenta de Google y accedan a los datos de origen en tu nombre. Puedes otorgar la aprobación manual con la interfaz del diálogo de OAuth. Si seleccionas alguna de las opciones de acceso extendido, debes otorgar acceso a esos servicios, por ejemplo, Google Drive o Knowledge Catalog.

Solo debes otorgar permiso a las canalizaciones de BigQuery una vez.

Para revocar el permiso que otorgaste, sigue estos pasos:

  1. Ve a la página de la Cuenta de Google.
  2. Haz clic en Canalizaciones de BigQuery.
  3. Haga clic en Quitar acceso.

Limitar las acciones simultáneas

De forma predeterminada, Dataform ejecuta todas las acciones cuyas dependencias ascendentes se cumplen en paralelo. Cuando un flujo de trabajo contiene muchas acciones independientes, ejecutarlas todas de forma simultánea puede causar errores de límite de frecuencia de BigQuery, agotar las cuotas del proyecto o las ranuras de BigQuery.

Para controlar la contención de recursos sin introducir dependencias artificiales entre acciones independientes en SQLX, puedes configurar un límite máximo de acciones simultáneas en una ejecución manual o en un programa de configuración de flujo de trabajo.

Cuando configuras un límite de acciones simultáneas, Dataform comienza a ejecutar las acciones listas de forma simultánea hasta el límite establecido. Las acciones adicionales cuyas dependencias upstream se cumplen ingresan al estado QUEUED. A medida que se completan las acciones en ejecución y los espacios de simultaneidad están disponibles, Dataform inicia las acciones en cola en los espacios disponibles hasta que se completen todas las acciones. Si la ejecución de un flujo de trabajo falla o se cancela mientras las acciones están en cola, se omiten las acciones en cola.

El límite se aplica por invocación de flujo de trabajo. Cada ejecución hace un seguimiento de sus propias acciones en ejecución de forma independiente.

El límite de acciones simultáneas no se admite cuando se ejecutan pruebas de unidades.

¿Qué sigue?