Criar um job de migração para um novo cluster de destino

Quando você cria o cluster de destino do AlloyDB para PostgreSQL com o Database Migration Service, ele é provisionado como um cluster do AlloyDB para PostgreSQL com uma instância principal. A execução de determinadas operações durante o processo de migração pode resultar em erros de migração. Ao migrar para um novo cluster de destino, lembre-se das seguintes considerações operacionais:

  • Evite operações de gravação em dados de migração: não realize operações de gravação (como INSERT, UPDATE, DELETE ou alterações de esquema DDL) no cluster de destino em tabelas ou bancos de dados incluídos na migração. Essas operações podem levar a conflitos de replicação com dados provenientes da origem.
  • Gerenciar usuários do banco de dados: é possível criar e gerenciar usuários do banco de dados a qualquer momento usando comandos psql padrão ou pelo AlloyDB para PostgreSQL no console do Google Cloud . Para mais informações, consulte Gerenciar usuários do banco de dados na documentação do AlloyDB para PostgreSQL.

Para mais informações, consulte Limitações conhecidas.

A criação de um job de migração inclui:

  1. Definir as configurações do job de migração.
  2. Especificar informações sobre o perfil de conexão que você criou para o banco de dados de origem (perfil de conexão de origem).
  3. Definir as configurações do cluster de destino do AlloyDB para PostgreSQL e criar o cluster.
  4. Configurar a conectividade entre os ambientes de banco de dados de origem e destino.
  5. Testar o job de migração para garantir que as informações de conexão fornecidas para o job sejam válidas.

Para criar um job de migração para um novo cluster de destino, faça o seguinte:

Console

Definir configurações para o job de migração

  1. No console do Google Cloud , acesse a página Jobs de migração.

    Acessar Jobs de migração

  2. Clique em Criar job de migração.

    A página do assistente de configuração do job de migração é aberta. Esse assistente contém vários painéis que orientam você em cada etapa da configuração.

    É possível pausar a criação de um job de migração a qualquer momento clicando em Salvar e sair. Todos os dados inseridos até esse ponto são salvos em um job de migração de rascunho. Você pode concluir o rascunho do job de migração mais tarde.

  3. Na página Começar, insira as seguintes informações:
    1. Nome do job de migração

      Este é um nome legível por humanos para o job de migração. Esse valor é exibido no console do Google Cloud .

    2. ID da tarefa de migração

      Este é um identificador legível por máquina para o job de migração. Use esse valor para trabalhar com jobs de migração usando os comandos da CLI do Google Cloud ou a API do Database Migration Service.

    3. Na lista Mecanismo de banco de dados de origem, selecione PostgreSQL.
    4. Na lista Mecanismo de banco de dados de destino, selecione AlloyDB para PostgreSQL.
    5. Selecione a região em que você salvou o job de migração.

      O Database Migration Service é um produto totalmente regional, o que significa que todas as entidades relacionadas à migração (perfis de conexão de origem e destino, jobs de migração, bancos de dados de destino) precisam ser salvas em uma única região. Selecione a região com base no local dos serviços que precisam dos seus dados, como instâncias do Compute Engine ou apps do App Engine, entre outros serviços. Depois de escolher a região de destino, essa seleção não poderá ser alterada.

    6. Especifique o tipo de serviço de migração: Contínuo (snapshot + mudanças em andamento). As migrações homogêneas do AlloyDB para PostgreSQL são exclusivamente contínuas.
    7. Revise os pré-requisitos gerados para seu ambiente. Verifique se o banco de dados de origem está configurado corretamente. Para mais informações, consulte Configurar o banco de dados de origem.
  4. Clique em Salvar e continuar.

Especificar informações sobre o perfil de conexão de origem

Na página Definir uma origem, siga estas etapas:

  1. No menu suspenso Perfil de conexão de origem, selecione o perfil de conexão do banco de dados de origem (ou clique em Criar um perfil de conexão; consulte Criar um perfil de conexão de origem).
  2. Na seção Personalizar as configurações de paralelismo, clique em Mostrar as configurações de paralelismo.

    Durante o despejo completo inicial, a extensão pglogical replica dados no nível da tabela e não divide uma tabela individual não particionada, uma partição de folha ou uma tabela sem uma chave primária em várias assinaturas. Isso significa que o paralelismo de despejo de dados aprimorado não pode aumentar a velocidade de despejo inicial de uma única tabela grande não particionada, porque essa tabela é copiada em uma assinatura. Para mais informações, consulte Considerações sobre o paralelismo de despejo de dados.

    A velocidade do paralelismo de despejo de dados está relacionada à quantidade de carga induzida no banco de dados de origem:

    • Ideal (recomendado): desempenho equilibrado com carga ideal no banco de dados de origem. O Database Migration Service cria até duas assinaturas por banco de dados (até duas no total em todos os bancos de dados, com pelo menos uma assinatura por banco de dados migrado).
    • Máximo: fornece as velocidades de despejo mais altas, mas pode causar um aumento da carga no banco de dados de origem. O Database Migration Service cria até 4 assinaturas por banco de dados (até 4 no total em todos os bancos de dados, com pelo menos 1 assinatura por banco de dados migrado).
    • Mínimo: usa a menor quantidade de recursos de computação no banco de dados de origem, mas pode ter uma capacidade de despejo mais lenta. O Database Migration Service cria uma assinatura por banco de dados.

    Se você escolher configurações ajustadas de paralelismo de despejo de dados, aumente os parâmetros max_replication_slots, max_wal_senders e max_worker_processes no banco de dados de origem.

  3. Clique em Salvar e continuar.

Configurar e criar o cluster de destino do AlloyDB para PostgreSQL

Agora, crie um novo cluster de destino do AlloyDB para PostgreSQL para seu job de migração. Os clusters são os recursos de nível superior no AlloyDB para PostgreSQL. Eles contêm uma única instância principal para acesso de leitura e gravação ao banco de dados que você cria durante o processo de migração.

  1. Na página Definir um destino, no menu suspenso Tipo de instância de destino, selecione Novo cluster.
  2. Escolha um tipo de cluster. O Database Migration Service é compatível com clusters do AlloyDB para PostgreSQL de alta disponibilidade, que podem exibir dados de mais de uma zona em uma região, sem pools de leitura durante o provisionamento inicial.
  3. Clique em Continuar.
  4. Configure o cluster:
    1. No campo ID do cluster, insira um identificador para o cluster do AlloyDB para PostgreSQL ou use o identificador gerado automaticamente.

      Não inclua informações sensíveis ou de identificação pessoal no identificador. Não é necessário incluir o ID do projeto no nome do cluster. Isso é feito automaticamente quando necessário.

    2. No campo Senha, forneça uma senha alfanumérica para o cluster de destino do AlloyDB para PostgreSQL. Esta é a senha da conta de administrador postgres no cluster.

      Insira a senha manualmente ou clique em Gerar para que o Database Migration Service crie uma automaticamente.

    3. No menu suspenso Versão do banco de dados, escolha a versão do banco de dados para o cluster de destino.

      Saiba mais sobre o suporte à migração entre versões.

    4. No campo Rede:
      1. Selecione um caminho de rede para definir quais recursos vão estar disponíveis ao configurar a conectividade de migração. Os clusters são configurados com um caminho de rede IP particular. Se você planeja se conectar ao banco de dados de origem com peering de VPC, selecione a VPC em que ele está localizado.
      2. Se a rede não estiver configurada para o acesso a serviços particulares, clique em Configurar conexão e siga o assistente de configuração de conexão.
      3. Se uma rede de serviço gerenciado nunca tiver sido configurada para a VPC selecionada, você poderá selecionar um intervalo de IP e clicar em Conectar ou usar um intervalo de IP selecionado automaticamente e clicar em Alocar e conectar.
    5. (Opcional) Configure as opções de criptografia de dados para o cluster de destino.

      Abra esta seção para ver as etapas opcionais.

      Clique em Mostrar opções avançadas para especificar se você quer gerenciar a criptografia dos dados migrados da origem para o destino. Por padrão, seus dados são criptografados com uma chave gerenciada pelo Google Cloud.

      Se você quiser gerenciar a criptografia, use uma chave de criptografia gerenciada pelo cliente (CMEK). A chave precisa estar no mesmo local que o cluster do AlloyDB para PostgreSQL. Por exemplo, clusters localizados em us-west1 só podem usar chaves em us-west1.

      1. Selecione o botão de opção Usar uma chave de criptografia gerenciada pelo cliente (CMEK).
      2. No menu Selecionar uma chave gerenciada pelo cliente, selecione sua CMEK.

      Se você não encontrar sua chave, clique em Inserir nome do recurso da chave para fornecer o nome do recurso da chave que você quer usar. Por exemplo, insira projects/my-project-name/locations/my-location/keyRings/my-keyring/cryptoKeys/my-key no campo Nome do recurso da chave e clique em Salvar.

    6. Clique em Continuar.
  5. Configure a instância principal. Uma instância primária determina a capacidade de computação de um cluster e oferece suporte a operações de leitura e gravação:
    1. No campo ID da instância, insira um ID para a instância primária.
    2. Selecione um tipo de máquina para a instância principal.
    3. Se você planeja usar o método de conectividade Lista de permissões de IP, marque a caixa de seleção Ativar IP público de saída.
    4. (Opcional) Configure as flags de banco de dados para a instância principal.

      Abra esta seção para ver as etapas opcionais.

      Clique em Mostrar opções avançadas para definir flags de banco de dados para a instância principal. Para informações sobre as flags compatíveis, consulte Configurar flags de banco de dados na documentação do AlloyDB para PostgreSQL. Para cada flag:

      1. Clique em Adicionar flag.
      2. Selecione uma flag na lista Nova flag de banco de dados.
      3. Forneça um valor para a flag.
      4. Clique em Concluído.
  6. Clique em Salvar e continuar e confirme sua escolha clicando em Criar destino e continuar. O Database Migration Service cria o cluster de destino do AlloyDB para PostgreSQL e a instância principal dele. Esse processo pode levar vários minutos.

Configurar a conectividade entre a instância do banco de dados de origem e o cluster de destino

No menu suspenso Método de conectividade, selecione um método de conectividade de rede. Esse método define como o cluster de destino do AlloyDB para PostgreSQL se conecta ao banco de dados de origem. Os métodos atuais de conectividade de rede para migrar para um novo cluster incluem lista de permissões de IP, peering de VPC, túnel SSH reverso e proxy TCP por uma VM hospedada na nuvem.

Se você quiser usar…Faça o seguinte:
O método de conectividade de rede de lista de permissões de IP, Copie os dois endereços IP públicos de saída da instância principal do cluster de destino e use-os para configurar o firewall de rede do servidor de banco de dados de origem e no arquivo pg_hba.conf.
O método de conectividade de rede de túnel SSH reverso, Selecione a instância de VM do Compute Engine que vai hospedar o túnel.

Depois de especificar a instância, o Google fornece um script que executa as etapas para configurar o túnel entre os bancos de dados de origem e destino. Execute o script na Google Cloud CLI em uma máquina que tenha conectividade com o banco de dados de origem e com o Google Cloud.

O método de conectividade de rede de peering de VPC, Selecione a rede VPC em que o banco de dados de origem está localizado. O cluster de destino se conecta a essa rede usando o acesso a serviços particulares.
O proxy TCP por meio de um método de conectividade de VM hospedada na nuvem, Insira os detalhes necessários para a nova instância de VM do Compute Engine que vai hospedar o proxy TCP.

Depois de especificar os detalhes, o console do Google Cloud fornece um script que configura o proxy entre os bancos de dados de origem e de destino. Execute o script em uma máquina com uma Google Cloud CLI atualizada.

Depois de executar o script, insira o endereço IP particular da VM recém-criada e clique em Configurar e continuar.

Depois de selecionar e configurar a conectividade de rede, clique em Configurar e continuar.

Configurar bancos de dados de migração

É possível migrar todos os bancos de dados da instância de origem ou escolher apenas bancos de dados específicos.

  1. Na lista Bancos de dados a serem migrados, selecione uma das seguintes opções:
    • Todos os bancos de dados: seleciona todos os bancos de dados que existem na origem.
    • Bancos de dados específicos: permite selecionar bancos de dados específicos entre todos os que existem na origem.
  2. Se quiser migrar bancos de dados específicos, filtre a lista que aparece e selecione os bancos de dados que você quer que o Database Migration Service migre para o destino.

    Se a lista não aparecer e um erro de descoberta de banco de dados for exibido, clique em Atualizar. Se a descoberta de banco de dados falhar, o job vai migrar todos os bancos de dados. Você pode continuar criando um job de migração e corrigir os erros de conectividade mais tarde.

  3. Clique em Salvar e continuar.

Testar, criar e executar o job de migração

Nesta etapa final, revise o resumo das configurações do job de migração, da origem, do destino e do método de conectividade e teste a validade da configuração do job de migração. Se houver problemas, modifique as configurações do job de migração.

  1. Na página Testar e criar job de migração, clique em Testar job.

    Se o teste falhar, resolva o problema na parte do fluxo destinada a isso e refaça o teste. Para informações sobre como resolver problemas em um teste de job de migração com falha, consulte Diagnosticar problemas do AlloyDB para PostgreSQL.

  2. Quando o teste do job de migração terminar, clique em Criar e iniciar job para criar o job de migração e iniciá-lo imediatamente ou clique em Criar job para criar o job de migração sem iniciá-lo imediatamente.

    Se o job não for iniciado no momento da criação, ele poderá ser iniciado na página Jobs de migração clicando em Iniciar. Independentemente de quando o job de migração começar, sua organização será cobrada pela existência do cluster de destino.

    Quando você inicia o job de migração, o Database Migration Service começa o despejo completo inicial e a replicação contínua. Para mais informações, consulte Limitações conhecidas.

  3. Prossiga para Revisar o job de migração.

CLI do Google Cloud

  1. Crie o perfil de conexão de destino.
    Ao migrar para um novo cluster de destino com a Google Cloud CLI, você cria o cluster de destino e o perfil de conexão em uma única ação.
    Execute o seguinte comando (clique no link para expandir):

    gcloud database-migration connection-profiles create alloydb

    Este exemplo usa a flag opcional --no-async para que todas as operações sejam realizadas de forma síncrona. Isso significa que alguns comandos podem levar um tempo para serem concluídos. É possível pular a flag --no-async para executar comandos de forma assíncrona. Se você fizer isso, use o comando gcloud database-migration operations describe para verificar se a operação foi bem-sucedida.

    Antes de usar os dados do comando abaixo, faça estas substituições:

    • DEST_CONN_ID pelo identificador do perfil de conexão de destino.
    • REGION pela região em que você quer salvar o perfil de conexão e criar o cluster de destino.
    • DEST_PASSWORD pela senha inicial do usuário postgres no cluster de destino do AlloyDB para PostgreSQL.
    • PRIMARY_ID pelo ID da instância principal no cluster de destino do AlloyDB para PostgreSQL.
    • CPU_COUNT pelo número de vCPUs da instância principal (por exemplo, 2, 4, 8).
    • VPC_NETWORK pelo nome ou URI de recurso completo da rede de nuvem privada virtual configurada para acesso a serviços particulares.
    • Opcional: para definir outras configurações para o novo cluster de destino do AlloyDB para PostgreSQL e a instância principal, transmita as seguintes flags:
      • --enable-outbound-public-ip: ative o IP público de saída na instância principal (obrigatório se você usar a conectividade da lista de permissões de IP).
      • --kms-key, --kms-keyring e --kms-project: criptografe o cluster de destino com uma chave de criptografia gerenciada pelo cliente (CMEK).
      • --database-version: especifique a versão principal do PostgreSQL para o cluster de destino (por exemplo, POSTGRES_15).
      • --database-flags: especifique uma lista separada por vírgulas de flags de banco de dados (KEY=VALUE) para a instância principal de destino.

    Execute o seguinte comando:

    Linux, macOS ou Cloud Shell

    gcloud database-migration connection-profiles create alloydb DEST_CONN_ID \
      --region=REGION \
      --password=DEST_PASSWORD \
      --primary-id=PRIMARY_ID \
      --cpu-count=CPU_COUNT \
      --network=VPC_NETWORK \
      --no-async

    Windows (PowerShell)

    gcloud database-migration connection-profiles create alloydb DEST_CONN_ID `
      --region=REGION `
      --password=DEST_PASSWORD `
      --primary-id=PRIMARY_ID `
      --cpu-count=CPU_COUNT `
      --network=VPC_NETWORK `
      --no-async

    Windows (cmd.exe)

    gcloud database-migration connection-profiles create alloydb DEST_CONN_ID ^
      --region=REGION ^
      --password=DEST_PASSWORD ^
      --primary-id=PRIMARY_ID ^
      --cpu-count=CPU_COUNT ^
      --network=VPC_NETWORK ^
      --no-async

    Você receberá uma resposta semelhante a esta:

    Waiting for connection profile [DEST_CONN_ID]
    to be created with [OPERATION_ID]
    
    Waiting for operation [OPERATION_ID] to complete...done.
    
    Created connection profile DEST_CONN_ID [OPERATION_ID]
    
  2. Crie o job de migração.
    Se você usar a lista de permissões de IP, o peering de VPC ou a conectividade de túnel SSH reverso, adicione as flags necessárias, como --static-ip, --peer-vpc ou --vm, --vm-ip, --vm-port e --vpc. Para mais informações, consulte Configurar conectividade e exemplos da Google Cloud CLI.
    Execute o seguinte comando (clique no link para expandir):

    gcloud database-migration migration-jobs create

    Este exemplo usa a flag opcional --no-async para que todas as operações sejam realizadas de forma síncrona. Isso significa que alguns comandos podem levar um tempo para serem concluídos. É possível pular a flag --no-async para executar comandos de forma assíncrona. Se você fizer isso, use o comando gcloud database-migration operations describe para verificar se a operação foi bem-sucedida.

    Antes de usar os dados do comando abaixo, faça estas substituições:

    • MIGRATION_JOB_ID por um identificador legível por máquina para o job de migração. Use esse valor para trabalhar com jobs de migração usando os comandos da CLI do Google Cloud ou a API do Database Migration Service.
    • REGION pelo identificador da região em que você quer salvar o job de migração.
    • MIGRATION_JOB_NAME por um nome legível por humanos para o job de migração. Esse valor é exibido no Database Migration Service no console do Google Cloud .
    • SOURCE_CONNECTION_PROFILE_ID por um identificador legível por máquina do perfil de conexão de origem. Para mais informações, consulte Criar um perfil de conexão de origem.
    • DESTINATION_CONNECTION_PROFILE_ID por um identificador legível por máquina do perfil de conexão de destino.
    • Opcional: o Database Migration Service migra todos os bancos de dados na origem por padrão. Se você quiser migrar apenas bancos de dados específicos, use a flag --databases-filter e especifique os identificadores como uma lista separada por vírgulas.

      Por exemplo: --databases-filter=my-business-database,my-other-database

      É possível editar os jobs de migração criados com a flag --databases-filter usando o comando gcloud database-migration migration-jobs update.

    Execute o seguinte comando:

    Linux, macOS ou Cloud Shell

    gcloud database-migration migration-jobs \
    create MIGRATION_JOB_ID \
      --no-async \
      --region=REGION \
      --display-name=MIGRATION_JOB_NAME \
      --source=SOURCE_CONNECTION_PROFILE_ID \
      --destination=DESTINATION_CONNECTION_PROFILE_ID \
      --type=CONTINUOUS

    Windows (PowerShell)

    gcloud database-migration migration-jobs `
    create MIGRATION_JOB_ID `
      --no-async `
      --region=REGION `
      --display-name=MIGRATION_JOB_NAME `
      --source=SOURCE_CONNECTION_PROFILE_ID `
      --destination=DESTINATION_CONNECTION_PROFILE_ID `
      --type=CONTINUOUS

    Windows (cmd.exe)

    gcloud database-migration migration-jobs ^
    create MIGRATION_JOB_ID ^
      --no-async ^
      --region=REGION ^
      --display-name=MIGRATION_JOB_NAME ^
      --source=SOURCE_CONNECTION_PROFILE_ID ^
      --destination=DESTINATION_CONNECTION_PROFILE_ID ^
      --type=CONTINUOUS

    Você receberá uma resposta semelhante a esta:

    Waiting for migration job [MIGRATION_JOB_ID]
    to be created with [OPERATION_ID]
    
    Waiting for operation [OPERATION_ID] to complete...done.
    
    Created migration job MIGRATION_JOB_ID [OPERATION_ID]