Neste documento, explicamos como planejar e projetar suas instâncias ou cluster de GPU solicitando ao Compute Advisor, uma interface com tecnologia de IA do Gemini. Para saber mais sobre os componentes que você precisa configurar antes ou durante a criação de um cluster, consulte Planejar e criar sua infraestrutura de IA.
O Compute Advisor ajuda a avaliar opções de hardware, estimar custos de implantação e conferir as configurações recomendadas para seus clusters. Para personalizar as recomendações, o Compute Advisor avalia seu projeto doGoogle Cloud verificando os limites de cota, as reservas atuais, os descontos por compromisso de uso (CUDs), a região e a zona padrão e as restrições de local de recursos. Ao usar o Compute Advisor para ajudar no planejamento, é possível alcançar uma configuração ideal para sua carga de trabalho antes de criar ou modificar um cluster.
Limitações
Ao usar o Compute Advisor no console do Google Cloud , não é possível criar, modificar ou excluir recursos diretamente.
Antes de começar
Quando você usa o console do Google Cloud para acessar os serviços e as APIs do Google Cloud , não é necessário configurar a autenticação.
Funções exigidas
Para receber as permissões necessárias para acessar e enviar comandos ao Gemini, peça ao administrador para conceder a você o papel do IAM de Leitor do Cluster Director (roles/hypercomputecluster.viewer) no projeto.
Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.
Esse papel predefinido contém as permissões necessárias para acessar e enviar comandos ao Gemini. Para acessar as permissões exatas necessárias, expanda a seção Permissões necessárias:
Permissões necessárias
As seguintes permissões são necessárias para acessar e usar o Gemini:
-
Para ver uma lista de clusters:
hypercomputecluster.clusters.list
Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.
Acessar o Compute Advisor no console do Google Cloud
Para acessar o Compute Advisor no console do Google Cloud , siga estas etapas:
No console do Google Cloud , acesse a página do Compute Advisor.
Quando a página estiver pronta, você poderá ver o seguinte:
Os elementos da interface mostrados na captura de tela anterior são os seguintes:
Painel lateral do histórico de conversas: mostra suas conversas recentes. É possível interagir com esse painel da seguinte maneira:
Para iniciar uma nova conversa, clique em Nova conversa.
Para retomar uma conversa recente, clique nela na seção Conversas recentes.
Para ver uma lista de todas as suas conversas, clique em Ver tudo. Na página Meu histórico, é possível ver os detalhes de uma conversa anterior e retomá-la ou excluir conversas se você não precisar mais delas.
Cards de comando de ação rápida: um conjunto de cards que contêm um exemplo de comando. Se você clicar em um card, o console do Google Cloud vai preencher automaticamente a caixa de comando com o comando de exemplo.
Caixa de comando: neste campo, você pode inserir e enviar comandos. Para enviar um comando, clique em Enviar comando.
Pedir ao Compute Advisor
Depois que você envia um comando, o Compute Advisor começa a gerar uma resposta. Um painel é exibido, e o console do Google Cloud mostra a resposta ao comando no painel, como mostrado na captura de tela a seguir:
Com base no comando, o painel de resposta inclui os seguintes elementos:
Embasamento contextual: o Compute Advisor avalia automaticamente o contexto do projeto para fornecer recomendações altamente personalizadas, incluindo limites de cota, reservas atuais, CUDs, região e zona padrão e quaisquer restrições de local de recursos.
Snippets de código interativos: o Compute Advisor gera comandos gcloud, métodos da API REST ou recursos do Terraform. Você pode copiar e colar esses snippets de código ou executá-los no Cloud Shell.
Tela visual: o Compute Advisor organiza as recomendações em tabelas estruturadas e comparações lado a lado. Essa visualização ajuda você a avaliar os recursos do produto e as abordagens arquitetônicas. Ele também fornece um plano de implementação para seu caso de uso.
As seções a seguir descrevem as práticas recomendadas para escrever comandos e exemplos de comandos que podem ser usados antes de criar ou modificar um cluster.
Práticas recomendadas para comandos
Para receber as recomendações mais precisas e úteis do Compute Advisor, estruture seus comandos da mesma forma que faria com um bloco de código. Essa abordagem orienta a IA generativa usando declarações de parâmetros claras, definições de papéis, instruções específicas e formatos de saída explícitos.
Ao usar o Compute Advisor, considere as seguintes práticas recomendadas:
Foco no design e no planejamento: recomendamos que você não peça ao Compute Advisor para resolver erros de cluster. Para resolver esses erros, consulte Resolver problemas de criação, atualização e exclusão de instâncias de computação.
Especifique uma persona ou um papel: declare um papel ou uma persona de destino, como um administrador de TI, pesquisador de IA ou engenheiro de plataforma, para o Compute Advisor adotar. Essa abordagem orienta o tom, a profundidade e o nível de conhecimento das recomendações resultantes.
Dê instruções explícitas e numeradas: divida seu objetivo em perguntas ou tarefas concretas e detalhadas. Essa abordagem estrutura o processo de raciocínio do Compute Advisor e ajuda a garantir que ele atenda a todos os seus requisitos.
Defina um formato de saída específico: indique explicitamente como você quer que a recomendação seja formatada, como uma explicação detalhada, uma tabela de comparação de Markdown ou um bloco de código gcloud pronto para uso.
Aproveite o embasamento de contexto automático: não é necessário incluir sua região ou zona padrão, cotas disponíveis, CUDs ou restrições de localização de recursos no comando. O Compute Advisor pode acessar essas informações no seu projeto do Google Cloud .
Refinar seus designs de forma iterativa: é possível modificar ou expandir a resposta gerada pelo Compute Advisor enviando novos comandos. Por exemplo, você pode pedir ao assistente para adicionar recomendações de rede ao seu plano de implantação ou modificar os requisitos de armazenamento sem iniciar uma nova conversa.
Exemplos de comandos
Confira a seguir exemplos de comandos que podem ser usados para ajudar a projetar e otimizar seu cluster:
Topologia do cluster e estratégia de posicionamento: para determinar o modelo de implantação e a política de posicionamento ideais para uma carga de trabalho de IA de alto desempenho, use um comando como este:
Act as an AI researcher. I need to design a GPU cluster topology in Cluster Director to train a foundation large language model that maximizes ML goodput and secures accelerator capacity. Please provide the following: 1. A comparison of clustered GPU machine series across available regions. 2. An explanation of how compact placement policies and workload policies reduce network latency and boost goodput. 3. The optimal configuration for future reservations in AI Hypercomputer to secure capacity for this workload. Format the comparison as a Markdown table, and provide the deployment steps as a ready-to-use gcloud code block.Modelo de provisionamento e otimização de custos: para avaliar modelos de provisionamento e reduzir os custos de processamento em lote, use um comando como este:
Act as an IT administrator. I need to select the most cost-effective consumption option to run large fault-tolerant AI batch jobs on clusters in Cluster Director without data loss. Please provide the following: 1. A cost and availability comparison of Flex-start VMs against Spot VMs for AI workloads. 2. An explanation of how atomic allocation in Flex-start VMs provisions all accelerator nodes at the exact same time. 3. A cluster configuration with checkpoint storage to save model state before Compute Engine reclaims a Spot VM. Format the comparison as a Markdown table, and provide the configuration steps to complete in the Google Cloud console.
A seguir
Para saber como obter capacidade e cota no Hipercomputador de IA, consulte Visão geral da capacidade.
Para comparar as opções de acelerador e selecionar a série de GPU certa, consulte Escolher entre GPUs gerais e GPUs em cluster.
Para selecionar ferramentas e criar o cluster, consulte Visão geral das opções de implantação.