Recursos de TPU no Compute Engine
É possível criar e gerenciar TPUs usando os recursos do Compute Engine. Nesta página, você encontra uma visão geral conceitual do uso de TPUs com o Compute Engine. Ele mapeia conceitos de TPU para recursos do Compute Engine e descreve o processo de migração para o Compute Engine.
Conceitos de TPU e Compute Engine
Para gerenciar recursos de TPU no Compute Engine, é útil entender estes conceitos principais de TPU e Compute Engine:
- VM de TPU: uma máquina virtual que se conecta diretamente ao hardware de TPU. Uma única VM de TPU é igual a uma fração de host único.
- Fração de TPU: um grupo lógico de chips de TPU interconectados, acessados por uma ou mais VMs de TPU. As frações têm um dos seguintes escopos:
- Fração de host único: uma fração que consiste em uma máquina host. Fração de host único é outra maneira de se referir a uma única VM de TPU.
- Fração de vários hosts: uma fração que consiste em várias VMs de TPU interconectadas usando uma interconexão entre chips (ICI) de alta velocidade.
Para criar e gerenciar recursos de TPU no Compute Engine, use os seguintes recursos do Compute Engine:
- Instância de VM: uma máquina virtual do Compute Engine. Uma fração de TPU de host único
é criada como uma instância de VM individual. Na API Cloud TPU legada, uma
única fração de TPU é representada por um
objeto REST
Node. - Grupo gerenciado de instâncias (MIG): um conjunto de instâncias de VM gerenciadas como uma
única unidade. As frações de TPU de vários hosts são criadas como um MIG com uma topologia de acelerador
especificada em uma política de carga de trabalho. Na API Cloud TPU legada,
uma ou mais frações são representadas usando
objetos REST
QueuedResourceouNode.
Mapa conceitual da TPU e do Compute Engine
A tabela a seguir descreve como os conceitos de TPU são mapeados para os recursos do Compute Engine:
| Conceito de TPU | Recurso do Compute Engine | Detalhes do recurso | Caso de uso |
|---|---|---|---|
| VM de TPU | Instância de VM | Uma VM do Compute Engine que fornece acesso direto ao hardware de TPU. | Tarefas de VM individuais, execução de comandos SSH ou depuração |
| Fração de TPU de host único ou sub-host | Instância de VM ou MIG com uma única VM | Uma configuração que consiste em uma máquina host física. | Inferência com escalonamento automático |
| Fração de TPU de vários hosts | MIG com topologia de acelerador especificada na política de carga de trabalho | Um grupo de VMs de TPU interconectadas usando ICI, gerenciadas como uma única unidade lógica. | Treinamento distribuído em grande escala que exige provisionamento atômico |
Migrar da API Cloud TPU
A API Cloud TPU não está mais em desenvolvimento ativo. Isso inclui a Google Cloud CLI para a API Cloud TPU e as bibliotecas de cliente do Cloud para a API Cloud TPU. A API Cloud TPU vai receber apenas correções de bugs e atualizações de segurança. As novas gerações de hardware, começando com a TPU7x (Ironwood), são compatíveis apenas com o Compute Engine ou o Google Kubernetes Engine (GKE). Para ter acesso aos recursos mais recentes e suporte às versões mais recentes da TPU, migre substituindo as chamadas de API legadas do Cloud TPU pelas equivalentes no Compute Engine ou no GKE.
Dependendo dos requisitos de orquestração e carga de trabalho, escolha um dos seguintes caminhos:
- Compute Engine: recomendado para usuários que precisam de controle direto no nível da VM ou de imagens de SO personalizadas. Para começar a provisionar TPUs no Compute Engine, consulte Guia de início rápido: criar uma VM de TPU.
- GKE: recomendado para cargas de trabalho conteinerizadas, escalonamento automático e orquestração em grande escala. Para mais informações sobre o uso de TPUs com o GKE, consulte Sobre TPUs no GKE.
- Batch: recomendado para usuários que querem um serviço totalmente gerenciado para executar cargas de trabalho em contêineres ou baseadas em script. Para mais informações sobre o uso de TPUs com o Batch, consulte Criar e executar um job em lote do Batch que usa TPUs.
Recursos de TPU atuais
Os recursos de TPU criados usando a API Cloud TPU (objetos REST Node ou QueuedResource) são incompatíveis com o Compute Engine e o GKE. Para
começar a usar o Compute Engine ou o GKE:
- Reescreva todos os scripts que usam a API Cloud TPU para usar as APIs do Compute Engine ou do GKE.
- Exclua recursos usando a API Cloud TPU e recrie-os usando as APIs do Compute Engine ou do GKE.
Limitações
As TPUs no Compute Engine têm as seguintes limitações:
- Versões de TPU: o Compute Engine é compatível com v5p, v6e e TPU7x.
- Multislice: a criação de grupos de frações de TPU de vários hosts interconectadas não está disponível no Compute Engine. Para usar o Multislice, é necessário usar o Google Kubernetes Engine (GKE). Para mais informações, consulte Implantar Multislices de TPU no GKE.
- Coleções: a programação de coleções não está disponível no Compute Engine. Para usar a programação de coleta, use o GKE. Para mais informações, consulte Programação de coleta na documentação do GKE.