O Model Armor usa cotas e limites do sistema para manter uma alocação justa de recursos, evitar sobrecargas de serviço e ajudar você a gerenciar o uso de recursos.
As cotas e os limites do sistema são semelhantes, mas diferem das seguintes maneiras:
- As cotas têm valores definidos por padrão, mas geralmente é possível solicitar ajustes.
- Os limites do sistema são valores que não podem ser alterados.
OGoogle Cloud usa cotas para garantir a imparcialidade e reduzir picos no uso e na disponibilidade de recursos. Uma cota restringe a alocação de um recurso doGoogle Cloud para uso do seu projeto do Google Cloud . As cotas se aplicam a vários tipos de recursos, incluindo hardware, software e componentes de rede. Por exemplo, elas podem restringir o número de chamadas de API para um serviço, o número de balanceadores de carga usados simultaneamente pelo projeto ou o número de projetos que podem ser criados. As cotas protegem a comunidade de usuários doGoogle Cloud , impedindo a sobrecarga de serviços. Elas também ajudam você a gerenciar seus próprios recursos do Google Cloud .
O sistema de cotas do Cloud faz o seguinte:
- Monitora o consumo de produtos e serviços do Google Cloud .
- Restringe o consumo desses recursos.
- Possibilita a solicitação de mudanças no valor das cotas e a automatização de ajustes de cotas.
Na maioria dos casos, quando você tenta consumir mais de um recurso do que a cota permite, o sistema bloqueia o acesso ao recurso, e a tarefa que você está tentando executar falha.
As cotas geralmente se aplicam ao nível do projeto do Google Cloud . O uso de um recurso em um projeto não afeta a cota disponível em outro. Em um projeto do Google Cloud , as cotas são compartilhadas entre todos os aplicativos e endereços IP.
Saiba mais em Visão geral das cotas do Cloud.
Cotas da API Model Armor
A tabela a seguir especifica as cotas da API Model Armor.
| Cota | Valor |
|---|---|
| Consultas de API | 1.200 consultas por minuto (QPM) por projeto |
| Solicitações para ExternalProcessor | 600 QPM por projeto 1 |
É possível aplicar um valor entre 0 e 1.200 QPM por projeto. Para solicitar um ajuste, consulte Solicitar um ajuste de cota. Se você precisar de mais do que a cota padrão, entre em contato com o Cloud Customer Care.
Para informações sobre cotas relacionadas às integrações do Model Armor com outros serviços, consulte Gerenciar cotas.
1 Relevante se você integrar o Model Armor a outros serviços do Google Cloud .
Limite de tamanho de arquivo do sistema
A tabela a seguir especifica os limites do sistema para arquivos e imagens de entrada.
| Limite do sistema | Valor |
|---|---|
| Todos os arquivos compatíveis | 4 MB |
| Imagens independentes | 4 MB |
| Imagens incorporadas em documentos de rich text | Até 5 imagens por documento |
Se um arquivo de entrada ou uma imagem independente exceder o limite de tamanho,
o Model Armor vai pular a verificação de todo o arquivo ou imagem e retornar
um executionState de EXECUTION_SKIPPED para todos os filtros configurados.
Da mesma forma, quando a modalidade de imagem (MODALITY_IMAGE) está ativada, se um documento de rich text exceder o limite de tamanho de arquivo de 4 MB ou contiver mais de 5 imagens incorporadas, o Model Armor vai pular a verificação de todo o documento, incluindo texto e imagens incorporadas, sem verificação parcial, e vai retornar um executionState de EXECUTION_SKIPPED para todos os filtros configurados.
Limites do sistema de tokens
O Model Armor tem limites de sistema variados em tokens, dependendo do filtro específico. Esses limites se aplicam ao texto direto em comandos e respostas, bem como ao texto extraído de arquivos compatíveis. O Model Armor analisa textos de até 65.536 tokens (aproximadamente 262.144 caracteres) para detecção de injeção de comandos e jailbreak, IA responsável e filtros de material de abuso sexual infantil (CSAM). Um token de texto equivale a cerca de 4 caracteres. Para informações sobre como o Model Armor calcula tokens para texto, imagens e documentos de rich text, consulte Tokens, Cálculo de tokens e preços para imagens e o guia de tokens da API Gemini.
Os limites do sistema de tokens não se aplicam à detecção de URLs maliciosos. Em vez disso, o Model Armor aplica um limite ao número de URLs verificados. O Model Armor extrai URLs até atingir 256 URLs ou o fim do payload e verifica apenas os primeiros 256 URLs encontrados em comandos e respostas.
| Filtro | Limite do sistema |
|---|---|
| Detecção de jailbreak e injeção de comando | 65.536 |
| IA responsável | 65.536 |
| Material de abuso sexual infantil | 65.536 |
| Proteção de Dados Sensíveis | 130.000 (0,5 MB) |
Para a Proteção de Dados Sensíveis, o Model Armor aplica um limite de payload de 0,5 MB. Um payload de 0,5 MB é compatível com aproximadamente 130.000 tokens para texto em inglês (com cerca de 4 caracteres por token). Para textos em outros idiomas, o número de tokens compatíveis pode variar de acordo com o idioma, porque caracteres que não são em inglês exigem mais bytes por caractere.
Se um filtro detectar uma correspondência, ele vai retornar
MATCH_FOUND. Se um filtro não detectar uma correspondência, o valor retornado vai depender
se o comando ou a resposta exceder o limite de tokens do filtro:
- Se o comando ou a resposta estiver dentro do limite de tokens do filtro, ele
vai retornar
NO_MATCH_FOUND. - Se o comando ou a resposta exceder o limite de tokens do filtro, ele vai retornar
EXECUTION_SKIPPEDe incluirDetection skipped as token limit exceeded.no campomessageItemsdo resultado do filtro.
Tokens ilimitados para o modo de streaming em tempo real
Quando você limpa o texto de streaming no modo em tempo real, o Model Armor aceita tokens ilimitados. Por outro lado, o modo de streaming em buffer está sujeito aos limites de tokens listados na tabela anterior.
Limites do sistema de regras de exclusão
A tabela a seguir especifica os limites do sistema para regras de exclusão específicas do modelo.
| Limite | Valor |
|---|---|
| Número máximo de conjuntos de regras por configuração de filtro | 10 |
| Máximo de regras por conjunto de regras | 10 |
| Máximo de dicionários por solicitação de modelo | 10 |
| Tamanho máximo da lista de palavras por dicionário | 128 KB |
| Comprimento máximo do padrão de expressão regular | 1.000 caracteres |
| Texto de entrada máximo verificado para regras de exclusão | 130.000 tokens (0,5 MB) |
As regras de exclusão avaliam apenas os
primeiros 130.000 tokens (0,5 MB) do texto de entrada. Um payload de 0,5 MB é compatível com
aproximadamente 130.000 tokens para texto em inglês (com cerca de
4 caracteres por token). Para textos em outros idiomas, o número
de tokens compatíveis pode variar de acordo com o idioma, porque caracteres que não são em inglês
exigem mais bytes por caractere. Se
uma entrada exceder 130.000 tokens (0,5 MB) e um filtro detectar uma correspondência que
uma regra de exclusão não abrange na parte inicial verificada, o filtro
retornará EXECUTION_SKIPPED. Para determinar se um payload foi
ignorado devido ao limite de payload de exclusão ou a um
limite de token, inspecione o
campo messageItems em piAndJailbreakFilterResult ou
raiFilterResult:
- Limite de payload de exclusão excedido:
Detection skipped as exclusion rules evaluation failed with reason: Input size exceeded max supported size of 0.5 MB. Exclusion rules execution could not be confirmed on full text. - Limite de tokens excedido:
Detection skipped as token limit exceeded.
Retornar EXECUTION_SKIPPED ajuda a garantir a segurança quando
o Model Armor não consegue avaliar todo o conteúdo em relação às regras de
exclusão.
Receber nomes de métricas de cota e limite do sistema
As cotas e os limites do sistema têm dois tipos de nomes: nomes de exibição e nomes de métricas. Os nomes de exibição têm espaços e letras maiúsculas que facilitam a leitura para humanos. Os nomes de métricas geralmente são minúsculos e delimitados por sublinhados em vez de espaços. O formato exato depende do serviço.
As instruções a seguir mostram como receber nomes de métricas para cotas e limites do sistema usando o Google Cloud console ou a CLI gcloud.
Console
No console do Google Cloud , acesse a página IAM e administrador > Cotas e limites do sistema:
Acesse "Cotas e limites do sistema
A tabela nesta página mostra cotas e limites do sistema que têm uso ou valores ajustados, além de uma entrada de referência para outras cotas. A entrada de referência tem a palavra "default" entre parênteses no final da lista na coluna Nome. Por exemplo,
SetIAMPolicy requests per minute per region (default)é a entrada de referência para a cotaSetIamPolicyRequestsPerMinutePerProject.Se a coluna Métrica não aparecer, siga estas etapas.
- Clique em Opções de exibição de colunas.
- Selecione Métrica.
- Clique em OK. A coluna Métrica aparece na tabela.
A coluna Métrica mostra os nomes das métricas. Para filtrar os resultados, insira um nome ou valor de propriedade no campo ao lado de Filtro.
gcloud
Para receber os nomes das métricas de um serviço do Google Cloud usando a CLI gcloud, execute o comando quotas info list. Para pular linhas que não listam nomes de métricas, transmita a saída para um comando como grep com metric: como o termo de pesquisa ou use a flag --format da CLI gcloud:
gcloud beta quotas info list --project=PROJECT_ID_OR_NUMBER \
--service=SERVICE_NAME --format="value(metric)"
Substitua:
PROJECT_ID_OR_NUMBER: o ID ou o número do projeto.SERVICE_NAME: o nome do serviço com as métricas de cota que você quer ver. Por exemplo, o nome do serviço do Compute Engine écompute.googleapis.com. Inclua a partegoogleapis.comdo nome do serviço.