Gerenciar preparações de dados

Neste documento, descrevemos como gerenciar as preparações de dados do BigQuery, incluindo o gerenciamento de acesso, controle de versões, desempenho e metadados. Ele também descreve como realizar tarefas básicas, como visualizar e fazer o download das preparações de dados.

As preparações de dados são recursos do BigQuery com tecnologia do Dataform. Para mais informações, consulte Visão geral da preparação de dados do BigQuery.

Antes de começar

  1. Verifique se você ativou a API Gemini para Google Cloud.
  2. Para gerenciar os metadados de preparação de dados no Knowledge Catalog, verifique se a API Dataplex está ativada no projeto do Google Cloud .

Funções exigidas

Os usuários que estão preparando os dados e as contas de serviço do Dataform que estão executando os jobs precisam das permissões concedidas pelos seguintes papéis do Identity and Access Management (IAM).

Receber acesso do usuário para preparação de dados

Para receber as permissões necessárias para preparar dados no BigQuery, peça ao administrador para conceder a você os seguintes papéis do IAM:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Para mais informações sobre o IAM para conjuntos de dados no BigQuery, consulte Conceder acesso a um conjunto de dados.

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Acesso para gerenciar metadados

Para receber as permissões necessárias para gerenciar metadados de preparação de dados no Knowledge Catalog, verifique se você tem os papéis do Knowledge Catalog necessários e a permissão dataform.repositories.get.

Conceder acesso à conta de serviço do Dataform

Para garantir que a conta de serviço do Dataform tenha as permissões necessárias para executar preparações de dados no BigQuery, peça ao administrador para conceder os seguintes papéis do IAM à conta de serviço do Dataform:

A conta de serviço do Dataform pode exigir outras permissões, dependendo do pipeline de preparação de dados. Para mais informações, consulte Conceder acesso necessário ao Dataform.

Considerações de segurança para preparações de dados

Como os recursos de código no BigQuery são alimentados pelo Dataform, considere as seguintes implicações de segurança para usuários com acesso a esses recursos:

  • A visibilidade dos recursos de código é controlada pelas permissões do Dataform no nível do projeto. Os usuários com a permissão dataform.repositories.list, que está incluída em papéis padrão do BigQuery, como Usuário de job do BigQuery, Usuário do BigQuery Studio e Usuário do BigQuery, podem ver todos os recursos de código no painel Explorador do projeto do Google Cloud , independentemente de terem criado esses recursos ou de eles terem sido compartilhados com eles. Para restringir a visibilidade, crie papéis personalizados que excluam a permissão dataform.repositories.list.
  • Todos os secrets compartilhados com o agente de serviço do Dataform podem ser acessados por usuários que podem editar esses recursos. Para proteger suas credenciais, restrinja o acesso de criação e edição a usuários confiáveis e limite os secrets acessíveis ao agente de serviço do Dataform. Para mais informações, consulte Acesso a secrets durante a instalação do pacote.

Para mais informações, consulte Considerações de segurança para permissões do Dataform.

Ver as preparações de dados atuais

Para ver uma lista das preparações de dados, siga estas etapas:

  1. Acessar a página do BigQuery.

    Acessar o BigQuery

  2. No painel à esquerda, clique em Explorer:

    Botão destacado para o painel "Explorer".

    Se o painel esquerdo não aparecer, clique em Expandir painel esquerdo para abrir.

  3. No painel Explorer, abra projeto.

  4. Clique em Preparações de dados.

Otimizar a preparação de dados processando dados de forma incremental

Para configurar como os dados preparados são gravados em uma tabela de destino, siga estas etapas.

  1. No console do Google Cloud , acesse a página BigQuery.

    Acessar o BigQuery

  2. No painel à esquerda, clique em Explorer:

    Botão destacado para o painel "Explorer".

  3. No painel Explorer, clique em Preparações de dados e selecione sua preparação de dados.

  4. Na barra de ferramentas da preparação de dados, selecione Mais > Modo de gravação.

  5. Selecione uma das opções. Para mais informações, consulte Modo de gravação.

  6. Clique em Salvar.

Versões de preparação de dados

É possível criar uma preparação de dados dentro ou fora de um repositório (pré-lançamento). O controle de versões da preparação de dados é processado de maneira diferente com base no local em que a preparação de dados está localizada.

Controle de versões de preparação de dados em repositórios

Os repositórios são repositórios Git que residem no BigQuery ou em um provedor terceirizado. É possível usar espaços de trabalho em repositórios para realizar o controle de versões em preparações de dados. Para mais informações, consulte Usar o controle de versões com um arquivo.

Controle de versões de preparação de dados fora dos repositórios

As preparações de dados do BigQuery que não estão em repositórios não oferecem suporte à visualização, comparação ou restauração de versões de preparação de dados.

Para ver uma lista de versões de preparação de dados em ordem cronológica, siga estas etapas:

  1. Acessar a página do BigQuery.

    Acessar o BigQuery

  2. No painel à esquerda, clique em Explorer:

    Botão destacado para o painel "Explorer".

  3. No painel Explorer, clique em Preparações de dados e selecione sua preparação de dados.

  4. Clique em Histórico de versões.

Fazer o download de uma preparação de dados

Para baixar uma preparação de dados em um arquivo SQLX, siga estas etapas:

  1. No console do Google Cloud , acesse a página BigQuery.

    Acessar o BigQuery

  2. No painel à esquerda, clique em Explorer:

    Botão destacado para o painel "Explorer".

  3. No painel Explorer, expanda o projeto e clique em Preparações de dados.

  4. Clique no nome da preparação de dados que você quer baixar.

  5. Clique em Fazer download. A preparação de dados é salva no formato do arquivo SQLX, por exemplo, NAME data preparation.dp.sqlx.

Fazer upload de uma preparação de dados

Para fazer upload de uma preparação de dados de um arquivo SQLX, siga estas etapas:

  1. No console do Google Cloud , acesse a página BigQuery.

    Acessar o BigQuery

  2. No painel à esquerda, clique em Explorer:

    Botão destacado para o painel "Explorer".

  3. No painel Explorer, abra projeto.

  4. Clique em Preparações de dados e em more_vert Ver ações > Fazer upload para a preparação de dados.

  5. Na caixa de diálogo Fazer upload da preparação de dados, selecione um arquivo para upload ou insira o URL da preparação de dados.

  6. Insira um nome para a preparação de dados.

  7. Selecione um local de preparação de dados em que os recursos são gerenciados e armazenados.

  8. Clique em Fazer upload.

Gerenciar metadados no Knowledge Catalog

O Knowledge Catalog permite armazenar e gerenciar metadados para preparações de dados. As preparações de dados estão disponíveis no Knowledge Catalog por padrão, sem configuração adicional.

É possível usar o Knowledge Catalog para gerenciar preparações de dados em todos os locais do BigQuery. O gerenciamento de preparações de dados no Knowledge Catalog está sujeito às cotas e limites do Knowledge Catalog e aos preços do Knowledge Catalog.

O Knowledge Catalog recupera automaticamente os seguintes metadados das preparações de dados:

  • Nome do recurso de dados
  • Ativo de dados pai
  • Local do recurso de dados
  • Tipo de recurso de dados
  • Projeto do Google Cloud correspondente

O Knowledge Catalog registra as preparações de dados como entradas com os seguintes valores:

Grupo de entradas do sistema
O grupo de entrada do sistema para preparações de dados é @dataform. Para conferir detalhes das entradas de preparação de dados no Knowledge Catalog, acesse o grupo de entradas do sistema dataform. Para instruções sobre como ver uma lista de todas as entradas em um grupo de entradas, consulte Ver detalhes de um grupo de entradas na documentação do Knowledge Catalog.
Tipo de entrada do sistema
O tipo de entrada do sistema para preparações de dados é dataform-code-asset. Para conferir detalhes das preparações de dados, acesse o tipo de entrada do sistema dataform-code-asset, filtre os resultados com um filtro baseado em aspecto e defina o campo type dentro do aspecto dataform-code-asset como DATA_PREPARATION. Em seguida, selecione uma entrada da preparação de dados selecionada. Para instruções sobre como ver detalhes de um tipo de entrada selecionado, consulte Ver detalhes de um tipo de entrada na documentação do Knowledge Catalog. Para instruções sobre como ver detalhes de uma entrada selecionada, consulte Ver detalhes de uma entrada na documentação do Knowledge Catalog.
Tipo de aspecto do sistema
O tipo de aspecto do sistema para preparações de dados é dataform-code-asset. Para fornecer mais contexto às preparações de dados no Knowledge Catalog anotando as entradas de preparação de dados com aspectos, visualize o tipo de aspecto dataform-code-asset, filtre os resultados com um filtro baseado em aspecto e defina o campo type dentro do aspecto dataform-code-asset como DATA_PREPARATION. Para instruções sobre como anotar entradas com aspectos, consulte Gerenciar aspectos e enriquecer metadados na documentação do Knowledge Catalog.
Tipo
O tipo de telas de dados é DATA_PREPARATION. Esse tipo permite filtrar preparações de dados no tipo de entrada do sistema dataform-code-asset e no tipo de aspecto dataform-code-asset usando a consulta aspect:dataplex-types.global.dataform-code-asset.type=DATA_PREPARATION em um filtro baseado em aspecto.

Para instruções sobre como pesquisar recursos, consulte Pesquisar recursos de dados no Knowledge Catalog na documentação do Knowledge Catalog.

A seguir