Nesta página, apresentamos a solução de HPC AlphaEvolve, que permite executar experimentos de otimização de código escalonáveis e conteinerizados no Google Cloud.
O AlphaEvolve depende de um loop evolutivo iterativo: ele gera código candidato, mede a adequação do código e envia os resultados de volta à API AlphaEvolve para orientar as próximas iterações. A solução de HPC AlphaEvolve implanta uma infraestrutura distribuída usando o Cluster Toolkit, o Batch e o Pub/Sub. Ele trata cada avaliação de candidato como um job isolado e temporário que é executado em máquinas virtuais (VMs) conteinerizadas e com muitos recursos.
Quando usar a solução de HPC AlphaEvolve
Em vez de executar avaliações localmente ou em instâncias do Cloud Run, use a solução de HPC AlphaEvolve se a carga de trabalho não se adequar a ambientes padrão:
As avaliações demoram muito: os problemas de código são complexos e demoram muito para serem executados localmente ou excedem os limites de recursos e de ambiente de execução de instâncias individuais do Cloud Run.
Você precisa de hardware especializado: suas avaliações exigem aceleradores de hardware (como GPUs ou TPUs) ou famílias de máquinas de HPC otimizadas para computação (como instâncias H3).
Você precisa de paralelismo em grande escala: quer criar e avaliar várias realizações candidatas simultaneamente em ambientes isolados.
Você quer infraestrutura como código (IaC): você quer uma configuração repetível e automatizada que simplifique a implantação e a remoção de clusters de alto recurso para economizar esforço e custo.
O que a solução de HPC da AlphaEvolve oferece
A solução de HPC do AlphaEvolve oferece um fluxo completo para a configuração, implantação e execução da infraestrutura necessária para os problemas de otimização do AlphaEvolve:
Implantação da infraestrutura de base: use o Cluster Toolkit para implantar a infraestrutura de base necessária para executar otimizações. Nesta etapa, as APIs necessárias são ativadas, as contas de serviço são configuradas, um tópico do Pub/Sub e um ambiente de execução do Colab Enterprise são provisionados. Essa infraestrutura básica pode ser reutilizada para vários problemas de otimização.
Configuração do ambiente de software: configure e implante o ambiente de software para seu problema de otimização específico.
Execução de experimentos: para iniciar, interromper e analisar um experimento, use um notebook do Jupyter em execução no Colab Enterprise conectado ao ambiente de execução personalizado do Colab Enterprise.
Como o AlphaEvolve funciona
Depois de configurar e implantar a solução, o processo de otimização real do AlphaEvolve é executado da seguinte maneira:
Geração: o controlador invoca a API AlphaEvolve (com tecnologia do Gemini) para propor candidatos de código com base em uma métrica de destino e execuções anteriores bem-sucedidas.
Avaliação: os candidatos são avaliados quanto à precisão e ao desempenho em paralelo como jobs em lote.
Armazenamento: os arquivos candidatos gerados, as revisões do código-fonte e as métricas de teste numéricas são arquivados em um bucket seguro do Cloud Storage. Como a solução de HPC AlphaEvolve armazena artefatos experimentais no bucket do Cloud Storage, é possível desativar a infraestrutura quando ela não estiver em uso.
Feedback: os resultados e os registros de insights são enviados de volta à API AlphaEvolve, permitindo que ela aprenda com os sucessos e as falhas e faça amostras inteligentes de códigos melhores na próxima geração.
A solução de HPC AlphaEvolve implanta os recursos conforme descrito
no diagrama de arquitetura a seguir.
Implantar a solução de HPC do AlphaEvolve
Para implantar a infraestrutura de base, criar as imagens de contêiner e executar os experimentos de otimização, faça o seguinte:
- Acesse o repositório do GitHub do AlphaEvolve HPC e siga as instruções.