Acionar execuções manualmente

Neste documento, mostramos como acionar manualmente execuções de todo o fluxo de trabalho ou apenas de elementos selecionados.

É possível acionar uma execução para os seguintes elementos do fluxo de trabalho:

  • Todas as ações no seu fluxo de trabalho
  • Ações selecionadas
  • Ações com as tags selecionadas

Antes de começar

  1. No Google Cloud console, acesse a página Dataform.

    Acesse a página do Dataform

  2. Selecione ou crie um repositório.

  3. Selecione ou crie um espaço de trabalho de desenvolvimento.

  4. Desenvolva seu fluxo de trabalho.

Funções exigidas

Para receber as permissões necessárias para acionar manualmente uma execução, peça ao administrador para conceder a você os seguintes papéis do IAM:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias usando papéis personalizados ou outros papéis predefinidos.

Executar manualmente todas as ações no fluxo de trabalho

Para acionar manualmente uma execução de todas as ações no fluxo de trabalho, siga estas etapas:

  1. Acesse um espaço de trabalho de desenvolvimento.
  2. Clique em Iniciar execução.
  3. Clique em Ações > Várias ações.

  4. Na seção Autenticação, autorize a execução com as credenciais de usuário da sua Conta do Google ou uma conta de serviço.

    • Para usar as credenciais de usuário da sua Conta do Google, selecione Executar com credenciais de usuário.

      Opcional: na seção Opções de acesso estendido, selecione os escopos adicionais que seu fluxo de trabalho exige:

      • Knowledge Catalog: permite atualizações de metadados do Google Cloud Knowledge Catalog.
      • Google Drive: permite acesso somente leitura aos arquivos do Google Drive.
      • Bigtable: fornece acesso somente leitura aos dados do Google Bigtable.

    • Para usar uma conta de serviço personalizada, selecione Executar com a conta de serviço selecionada e, em seguida, selecione uma conta de serviço personalizada.

  5. Selecione Todas as ações.

  6. Opcional: para recriar todas as tabelas do zero, selecione a opção Executar com atualização completa. Sem essa opção, o Dataform atualiza as tabelas incrementais sem recriá-las do zero.

  7. Opcional: defina a prioridade do job de consulta do BigQuery com a opção Executar como job interativo com alta prioridade (padrão). Por padrão, o BigQuery executa consultas como jobs de consulta interativos, que devem começar a ser executados o mais rápido possível. Se você desmarcar essa opção, as consultas serão executadas como jobs de consulta em lote, que têm prioridade mais baixa.

  8. Opcional: para limitar quantas ações podem ser executadas simultaneamente durante a execução, selecione Limitar ações simultâneas e, em Máximo de ações simultâneas, insira um número inteiro entre 1 e 5000.

    Se o número de ações prontas exceder o limite configurado, o Dataform vai colocar as ações prontas restantes em uma fila até que um slot de simultaneidade fique disponível.

    O limite de ações simultâneas não é aceito ao executar testes de unidade.

  9. Clique em Iniciar execução. Se você selecionou Executar com credenciais de usuário como método de autenticação, é necessário autorizar sua Conta do Google.

Executar manualmente as ações selecionadas

Para acionar manualmente uma execução das ações selecionadas, siga estas etapas:

  1. Acesse o espaço de trabalho de desenvolvimento.

  2. Clique em Iniciar execução e faça o seguinte:

    • Clique em Ações e selecione uma ação que você quer executar.
    • Clique em Ações > Várias ações.

  3. Na seção Autenticação, autorize a execução com as credenciais de usuário da sua Conta do Google ou uma conta de serviço.

    • Para usar as credenciais de usuário da sua Conta do Google, selecione Executar com credenciais de usuário.

      Opcional: na seção Opções de acesso estendido, selecione os serviços adicionais que seu fluxo de trabalho exige:

      • Knowledge Catalog: permite atualizações de metadados do Google Cloud Knowledge Catalog.
      • Google Drive: permite acesso somente leitura aos arquivos do Google Drive.
      • Bigtable: fornece acesso somente leitura aos dados do Google Bigtable.

    • Para usar uma conta de serviço personalizada, selecione Executar com a conta de serviço selecionada e, em seguida, selecione uma conta de serviço personalizada.

  4. Verifique se a opção Seleção de ações está marcada.

  5. No menu Selecionar ações a serem executadas, selecione as ações que você quer executar.

  6. Opcional: para executar as ações selecionadas e as dependências delas, selecione a opção Incluir dependências.

  7. Opcional: para executar as ações selecionadas e as ações que dependem delas, selecione a opção Incluir dependentes.

  8. Opcional: para recriar todas as tabelas do zero, selecione a opção Executar com atualização completa.

  9. Opcional: defina a prioridade do job de consulta do BigQuery com a opção Executar como job interativo com alta prioridade (padrão). Por padrão, o BigQuery executa consultas como jobs de consulta interativos, que devem começar a ser executados o mais rápido possível. Se você desmarcar essa opção, as consultas serão executadas como jobs de consulta em lote, que têm prioridade mais baixa.

  10. Opcional: para limitar quantas ações podem ser executadas simultaneamente durante a execução, selecione Limitar ações simultâneas e, em Máximo de ações simultâneas, insira um número inteiro entre 1 e 5000.

    Se o número de ações prontas exceder o limite configurado, o Dataform vai colocar as ações prontas restantes em uma fila até que um slot de simultaneidade fique disponível.

    O limite de ações simultâneas não é aceito ao executar testes de unidade.

  11. Clique em Iniciar execução. Se você selecionou Executar com minhas credenciais de usuário como método de autenticação, autorize sua Conta do Google.

Executar ações manualmente com as tags selecionadas

Para acionar manualmente uma execução de ações com tags selecionadas, siga estas etapas:

  1. Acesse o espaço de trabalho de desenvolvimento.

  2. Clique em Iniciar execução e faça o seguinte:

    • Clique em Tags e selecione uma tag para executar.
    • Clique em Tags > Várias tags.

  3. Na seção Autenticação, autorize a execução com as credenciais de usuário da sua Conta do Google ou uma conta de serviço.

    • Para usar as credenciais de usuário da sua Conta do Google, selecione Executar com credenciais de usuário.

      Opcional: na seção Opções de acesso estendido, selecione os serviços adicionais que seu fluxo de trabalho exige:

      • Knowledge Catalog: permite atualizações de metadados do Google Cloud Knowledge Catalog.
      • Google Drive: permite acesso somente leitura aos arquivos do Google Drive.
      • Bigtable: fornece acesso somente leitura aos dados do Google Bigtable.

    • Para usar uma conta de serviço personalizada, selecione Executar com a conta de serviço selecionada e, em seguida, selecione uma conta de serviço personalizada.

  4. Verifique se a opção Seleção de tags está marcada.

  5. No menu Selecionar tags a serem executadas, selecione as tags que você quer executar.

  6. Opcional: para executar as ações com as tags selecionadas e as dependências delas, selecione a opção Incluir dependências.

  7. Opcional: para executar as ações com as tags selecionadas e as ações que dependem delas, selecione a opção Incluir dependentes.

  8. Opcional: para recriar todas as tabelas do zero, selecione a opção Executar com atualização completa. Sem essa opção, o Dataform atualiza as tabelas incrementais sem recriá-las do zero.

  9. Opcional: defina a prioridade do job de consulta do BigQuery com a opção Executar como job interativo com alta prioridade (padrão). Por padrão, o BigQuery executa consultas como jobs de consulta interativos, que devem começar a ser executados o mais rápido possível. Se você desmarcar essa opção, as consultas serão executadas como jobs de consulta em lote, que têm prioridade mais baixa.

  10. Opcional: para limitar quantas ações podem ser executadas simultaneamente durante a execução, selecione Limitar ações simultâneas e, em Máximo de ações simultâneas, insira um número inteiro entre 1 e 5000.

    Se o número de ações prontas exceder o limite configurado, o Dataform vai colocar as ações prontas restantes em uma fila até que um slot de simultaneidade fique disponível.

    O limite de ações simultâneas não é aceito ao executar testes de unidade.

  11. Clique em Iniciar execução. Se você selecionou Executar com minhas credenciais de usuário como método de autenticação, autorize sua Conta do Google.

Autorizar sua Conta do Google

Para autenticar o recurso com as credenciais de usuário da sua Conta do Google, é preciso conceder permissão manualmente para que os pipelines do BigQuery recebam o token de acesso da sua Conta do Google e acessem os dados de origem em seu nome. É possível conceder aprovação manual com a interface da caixa de diálogo do OAuth. Se você selecionar qualquer uma das Opções de acesso estendido, será necessário conceder acesso a esses serviços, como o Google Drive ou o Knowledge Catalog.

Você só precisa conceder permissão aos pipelines do BigQuery uma vez.

Para revogar a permissão concedida, siga estas etapas:

  1. Acesse a página da sua Conta do Google.
  2. Clique em Pipelines do BigQuery.
  3. Clique em Remover acesso.

Limitar ações simultâneas

Por padrão, o Dataform executa todas as ações com dependências upstream atendidas em paralelo. Quando um fluxo de trabalho contém muitas ações independentes, executar todas elas simultaneamente pode causar erros de limite de taxa do BigQuery, esgotar as cotas do projeto ou os slots do BigQuery.

Para controlar a contenção de recursos sem introduzir dependências artificiais entre ações independentes no SQLX, configure um limite máximo de ações simultâneas em uma execução manual ou em uma programação de configuração de fluxo de trabalho.

Quando você configura um limite de ações simultâneas, o Dataform começa a executar ações prontas simultaneamente até o limite definido. As ações adicionais com dependências upstream atendidas entram no estado QUEUED. À medida que as ações em execução são concluídas e os slots de simultaneidade ficam disponíveis, o Dataform inicia as ações em fila nos slots disponíveis até que todas as ações sejam concluídas. Se uma execução de fluxo de trabalho falhar ou for cancelada enquanto as ações estiverem na fila, as ações na fila serão ignoradas.

O limite se aplica por invocação de fluxo de trabalho. Cada execução rastreia as próprias ações em execução de forma independente.

O limite de ações simultâneas não é aceito ao executar testes de unidade.

A seguir