A meta de otimização representa o número único que o AlphaEvolve maximiza durante cada geração. Antes de escrever qualquer código de avaliador, responda a estas três perguntas:
Que valor esse número representa?
Como o sistema calcula isso?
Onde a computação é executada?
O AlphaEvolve exige estritamente um cálculo de meta automatizado e programático para cada solução candidata, sem intervenção humana. Essa automação torna o problema adequado para o AlphaEvolve. Se uma pessoa precisar julgar a qualidade de uma solução manualmente, o AlphaEvolve não poderá pesquisar nela.
Use as seguintes considerações para estimar o desempenho de uma solução candidata gerada nos diferentes objetivos de otimização e restrições de validação:
- Os objetivos de otimização podem ser calculados diretamente usando a lógica de negócios ou de produtos, sem a necessidade de medição empírica?
- Os objetivos de otimização podem ser medidos diretamente executando testes de desempenho e carga no código da solução gerada?
- Os objetivos de otimização podem ser estimados usando funções substitutas determinísticas estabelecidas e métodos de simulação confiáveis?
- Os objetivos de otimização podem ser estimados criando uma função substituta personalizada (como um modelo preditivo ou outro estimador não determinista) que requer ajuste em observações empíricas e validação em dados fora da amostra?
Etapas principais para quantificar sua meta
Siga uma abordagem estruturada para garantir que o AlphaEvolve tenha um ciclo de feedback confiável e automatizado para orientar a pesquisa. Siga as etapas abaixo para estabelecer sua métrica, definir como ela é medida e determinar onde a execução ocorre.
1. Expressar a meta como uma única pontuação que aumenta à medida que as soluções melhoram
Configure sua métrica de otimização principal para escalonamento linear ou monotônico com ganhos de desempenho reais, de modo que o caminho de pesquisa tenha um gradiente direcional claro.
Maximização escalar: o AlphaEvolve sempre maximiza um valor escalar. Converta o que é importante para você em um único número, em que quanto maior, melhor. Para minimizar a latência, o custo ou o erro, negue-o:
score = -latency_msMonotonicidade: a pontuação precisa ser monotônica, ou seja, aumentar sempre que a solução melhorar de verdade. Uma pontuação que se move de forma inconsistente não dá direção para a pesquisa subir.
Execução determinística: a pontuação é calculada no avaliador, nunca pelo LLM e nunca por uma pessoa. Calcule-a de forma determinista para que o mesmo candidato sempre receba a mesma pontuação.
Análise conjunta para metas subjetivas: se você não conseguir escrever uma fórmula de pontuação, mas puder comparar duas soluções visualmente, crie uma com análise conjunta. Gere pares de saídas candidatas, peça para um especialista no domínio escolher a melhor em cada par, ajuste uma regressão logística nessas escolhas e use o modelo ajustado como sua métrica. Isso transforma o julgamento subjetivo em uma pontuação determinística e diferenciável. Não use uma rubrica de LLM bruta como o placar ao vivo, porque ela é lenta, ruidosa e rápida para hackear recompensas. Primeiro, destile-a em uma função fixa.
2. Escolher como a pontuação é calculada
A forma de produzir o número depende do que você está medindo. Escolha o método da tabela que corresponde ao seu objetivo. Quase todas as implantações reais usam um desses quatro, e muitas combinam dois: um método barato para impulsionar a pesquisa e um caro para confirmar os vencedores.
| Método de medição | Use quando o objetivo for… | Como a pontuação é gerada | O que é necessário para executar |
|---|---|---|---|
| Cálculo direto | Uma quantidade que você pode calcular de forma fechada com base na saída do candidato usando a lógica de negócios ou de produto. | O avaliador executa o candidato e aplica uma fórmula (soma, proporção, contagem, custo) | O próprio processo do controlador, sem infraestrutura extra |
| Teste de desempenho ou carga | O ambiente de execução, a capacidade de processamento ou a memória do próprio código candidato | Execute o candidato em um hardware representativo e meça-o. Primeiro, verifique a precisão. | O hardware de destino (GPU, TPU ou CPU); aquecimento e melhor de N para reduzir o ruído de tempo |
| Substituto determinístico / simulação | É caro ou difícil de medir diretamente, mas há um proxy confiável ou uma simulação de condições reais | Calcular um proxy determinista ou reproduzir cenários operacionais fixos e com sementes | Qualquer ambiente; totalmente reproduzível com sementes fixas |
| Validação fora da amostra | A qualidade de um modelo ou pipeline de dados produzido pelo candidato | Treinar/ajustar o candidato e, em seguida, pontuá-lo em dados retidos ou recém-gerados | Sua pilha de treinamento/avaliação; uma divisão estrita de treinamento x validação; revalide os vencedores no conjunto de validação |
Para mais informações, consulte o comunicado do AlphaEvolve no blog do Google Cloud .
Se nenhum deles puder produzir um número automaticamente, o problema ainda não está pronto para o AlphaEvolve. A tarefa principal é criar um substituto ou uma simulação que possa fazer isso.
3. Lidar com várias metas e restrições
Os objetivos reais geralmente misturam várias preocupações. Use uma das duas maneiras a seguir para lidar com eles:
Combinação escalar (mais simples, recomendada para começar): redimensione cada métrica para
um intervalo comparável, negue as que você minimiza e adicione-as:
score = w1*A - w2*L - w3*M.
Dê preferência a somas aditivas em vez de proporções como A/(L⋅M), que são numericamente instáveis.
Retorne um dicionário de pontuações nomeadas: permita que o AlphaEvolve as otimize em conjunto. O avaliador pode retornar várias métricas nomeadas em vez de um número:
```JSON
{
"scores": [
{"metric": "accuracy", "score": 0.95},
{"metric": "latency_ms", "score": -120.0}
]
}
```
Quanto maior, melhor. Portanto, negue tudo o que você minimizar. Isso aciona uma pesquisa genuína de vários objetivos, não apenas relatórios: o banco de dados de população mantém o melhor programa por métrica (MAP-Elites), mantém uma fronteira de Pareto entre as métricas e amostra os pais de forma diversificada entre as diferentes métricas. Ele também pode extrair pais diretamente da fronteira de Pareto quando essa amostragem está ativada. Uma única pontuação de título ainda impulsiona o hill-climb informado, mas cada métrica retornada molda a pesquisa.
Mantenha de 3 a 5 métricas: com muitas métricas, a dominância de Pareto se degenera, quase todos os programas não são dominados em algo e a pesquisa se perde. Agregue ou descarte métricas além desse limite.
Isolar a precisão e a viabilidade: mantenha a precisão como um limite rígido, não como parte da função de recompensa. Um candidato errado ou inviável recebe uma pontuação de falha, independentemente de quão rápido ou barato ele seja. Essa é a principal defesa contra o agente que manipula sua métrica.
Otimização de restrição: manter um objetivo como restrição e otimizar o outro, aplicando uma penalidade quando a restrição for violada. A execução desse fluxo de trabalho em vários níveis de restrição traça a fronteira de Pareto.
4. Decidir onde o avaliador é executado
O AlphaEvolve nunca executa o avaliador diretamente. Ele propõe programas candidatos e recebe pontuações. Você hospeda e executa o código que calcula a pontuação. O ambiente é totalmente de sua escolha, e um candidato que não pode ser executado no Google Cloud não é um bloqueador. Você executa o avaliador onde o objetivo pode ser medido e envia a pontuação de volta.
Para garantir uma implantação eficiente e segura, alinhe sua infraestrutura de computação à sua estratégia de medição específica, respeitando os limites de execução universais. Use as diretrizes a seguir para selecionar o ambiente de execução e entender os limites operacionais principais que se aplicam a todas as configurações.
Combine o ambiente de execução com o método de medição
Cálculo direto ou substituto: o próprio processo do controlador ou um único contêiner do Cloud Run.
Teste de desempenho ou carga: o hardware de destino, como um nó de GPU ou TPU no GKE, seu próprio hardware local ou personalizado ou uma ferramenta de terceiros ou ISV (por exemplo, um simulador de EDA ou Verilog).
Validação fora da amostra ou jobs pesados: sua pilha de treinamento foi distribuída pelo Cloud Run ou GKE ou transferida para o Google Cloud lote usando o Cluster Toolkit para grandes cargas de trabalho de HPC ou acelerador.
Dois limites se aplicam independentemente do ambiente
Tente manter cada avaliação em cerca de 10 minutos ou menos para que o loop evolutivo continue em movimento. Para objetivos caros, use uma cascata de avaliação para verificar cada candidato, executando a avaliação completa apenas para os mais promissores.
Você é responsável pela rede, segurança e controles de acesso do avaliador. O AlphaEvolve não implanta nem gerencia o avaliador, no Google Cloud ou em qualquer outro lugar.
Depois de decidir a métrica, como calculá-la e onde ela será executada, consulte padrões de implementação do avaliador para saber como estruturar o avaliador.