Quotas et limites du système

Model Armor utilise des quotas et des limites système pour assurer une allocation équitable des ressources, éviter les surcharges de service et vous aider à gérer l'utilisation des ressources.

Les quotas et les limites du système sont similaires, mais diffèrent sur les points suivants :

  • Les quotas ont des valeurs par défaut, mais vous pouvez généralement demander des ajustements.
  • Les limites système sont des valeurs fixes qui ne peuvent pas être modifiées.

Google Cloud utilise des quotas pour garantir l'équité et réduire les pics d'utilisation et de disponibilité des ressources. Un quota limite la quantité d'une ressourceGoogle Cloud que votre projet Google Cloud peut utiliser. Les quotas s'appliquent à différents types de ressources, y compris les composants matériels, logiciels et réseau. Par exemple, ils peuvent limiter le nombre d'appels d'API à un service, le nombre d'équilibreurs de charge utilisés simultanément par votre projet ou le nombre de projets que vous pouvez créer. Ils protègent la communauté des utilisateurs deGoogle Cloud en empêchant la surcharge des services. Les quotas vous aident également à gérer vos propres ressources Google Cloud .

Le système Cloud Quotas permet d'effectuer les opérations suivantes :

Dans la plupart des cas, lorsque vous tentez d'utiliser une ressource plus que son quota ne le permet, le système bloque l'accès à la ressource et la tâche que vous essayez d'effectuer échoue.

Les quotas s'appliquent généralement au niveau du projet Google Cloud . Votre utilisation d'une ressource dans un projet n'affecte pas votre quota disponible dans un autre projet. Dans un projet Google Cloud , les quotas sont partagés entre toutes les applications et adresses IP.

Pour en savoir plus, consultez la présentation des quotas Cloud.

Quotas de l'API Model Armor

Le tableau suivant indique les quotas de l'API Model Armor.

Quota Valeur
Requêtes de l'API 1 200 requêtes par minute (RPM) et par projet
Requêtes adressées à ExternalProcessor 600 RPM par projet1

Vous pouvez appliquer une valeur comprise entre 0 et 1 200 RPM par projet. Pour demander un ajustement, consultez Demander un ajustement de quota. Si vous avez besoin d'un quota supérieur à celui par défaut, contactez Cloud Customer Care.

Pour en savoir plus sur les quotas liés aux intégrations de Model Armor avec d'autres services, consultez Gérer les quotas.

1 Pertinent si vous intégrez Model Armor à d'autres services Google Cloud .

Limite de taille de fichier du système

Le tableau suivant indique les limites du système concernant les fichiers et les images d'entrée.

Limite système Valeur
Tous les fichiers compatibles 4 Mo
Images autonomes 4 Mo
Images intégrées dans des documents en texte enrichi Jusqu'à 5 images par document

Si un fichier d'entrée ou une image autonome dépasse sa limite de taille, Model Armor ignore l'analyse de l'intégralité du fichier ou de l'image et renvoie un executionState de EXECUTION_SKIPPED pour tous les filtres configurés. De même, lorsque la modalité d'image (MODALITY_IMAGE) est activée, si un document en texte enrichi dépasse la limite de taille de fichier de 4 Mo ou contient plus de cinq images intégrées, Model Armor ignore l'analyse de l'intégralité du document, y compris le texte et les images intégrées, sans analyse partielle, et renvoie un executionState de EXECUTION_SKIPPED pour tous les filtres configurés.

Limites du système de jetons

Model Armor applique différentes limites système aux jetons en fonction du filtre spécifique. Ces limites s'appliquent au texte direct dans les requêtes et les réponses, ainsi qu'au texte extrait des fichiers compatibles. Model Armor analyse le texte jusqu'à 65 536 jetons (environ 262 144 caractères) pour détecter les injections de prompt et le jailbreaking, et applique des filtres d'IA responsable et de contenus d'abus sexuels sur mineurs. Un jeton de texte équivaut à environ quatre caractères. Pour savoir comment Model Armor calcule les jetons pour le texte, les images et les documents en texte enrichi, consultez Jetons, Calcul des jetons et tarification pour les images et le guide des jetons de l'API Gemini.

Les limites du système de jetons ne s'appliquent pas à la détection des URL malveillantes. À la place, Model Armor applique une limite au nombre d'URL analysées. Model Armor extrait les URL jusqu'à ce qu'il atteigne 256 URL ou la fin de la charge utile, et n'analyse que les 256 premières URL trouvées dans les prompts et les réponses.

Filtre Limite système
Détection de l'injection de prompt et du jailbreaking 65 536
IA responsable 65 536
Contenus d'abus sexuels sur mineurs 65 536
Sensitive Data Protection 130 000 (0,5 Mo)

Pour Sensitive Data Protection, Model Armor applique une limite de charge utile de 0,5 Mo. Une charge utile de 0,5 Mo accepte environ 130 000 jetons pour du texte en anglais (à environ 4 caractères par jeton). Pour le texte non anglais, le nombre de jetons acceptés peut varier en fonction de la langue, car les caractères non anglais nécessitent plus d'octets par caractère.

Si un filtre détecte une correspondance, il renvoie MATCH_FOUND. Si un filtre ne détecte pas de correspondance, la valeur qu'il renvoie dépend du fait que la requête ou la réponse dépasse la limite de jetons du filtre :

  • Si le prompt ou la réponse se trouvent dans la limite de jetons du filtre, le filtre renvoie NO_MATCH_FOUND.
  • Si le prompt ou la réponse dépasse la limite de jetons du filtre, celui-ci renvoie EXECUTION_SKIPPED et inclut Detection skipped as token limit exceeded. dans le champ messageItems du résultat du filtre.

Jetons illimités pour le mode de streaming en temps réel

Lorsque vous nettoyez du texte en streaming en mode temps réel, Model Armor accepte un nombre illimité de jetons. En revanche, le mode de streaming mis en mémoire tampon est soumis aux limites de jetons indiquées dans le tableau précédent.

Limites système des règles d'exclusion

Le tableau suivant indique les limites du système pour les règles d'exclusion spécifiques aux modèles.

Limite Valeur
Nombre maximal d'ensembles de règles par configuration de filtre 10
Nombre maximal de règles par ensemble de règles 10
Nombre maximal de dictionnaires par requête de modèle 10
Taille maximale de la liste de mots par dictionnaire 128 Ko
Longueur maximale du modèle d'expression régulière 1 000 caractères
Texte d'entrée maximal analysé pour les règles d'exclusion 130 000 jetons (0,5 Mo)

Les règles d'exclusion n'évaluent que les 130 000 premiers jetons (0,5 Mo) du texte d'entrée. Une charge utile de 0,5 Mo accepte environ 130 000 jetons pour du texte en anglais (à environ 4 caractères par jeton). Pour le texte non anglais, le nombre de jetons acceptés peut varier en fonction de la langue, car les caractères non anglais nécessitent plus d'octets par caractère. Si une entrée dépasse 130 000 jetons (0,5 Mo) et qu'un filtre détecte une correspondance qu'une règle d'exclusion ne couvre pas dans la partie analysée initiale, le filtre renvoie EXECUTION_SKIPPED. Pour déterminer si une charge utile a été ignorée en raison de la limite de charge utile d'exclusion ou d'une limite de jetons, inspectez le champ messageItems dans piAndJailbreakFilterResult ou raiFilterResult :

  • Limite de charge utile d'exclusion dépassée : Detection skipped as exclusion rules evaluation failed with reason: Input size exceeded max supported size of 0.5 MB. Exclusion rules execution could not be confirmed on full text.
  • Limite de jetons dépassée : Detection skipped as token limit exceeded.

Le renvoi de EXECUTION_SKIPPED permet de garantir la sécurité lorsque Model Armor ne peut pas évaluer l'intégralité du contenu par rapport aux règles d'exclusion.

Obtenir les noms des métriques de quota et de limite du système

Les quotas et les limites du système ont deux types de noms : les noms à afficher et les noms de métriques. Les noms à afficher comportent des espaces et des majuscules qui facilitent la lecture par les humains. Les noms de métriques sont plus susceptibles d'être en minuscules et délimités par des traits de soulignement au lieu d'espaces. Le format exact dépend du service.

Les instructions suivantes expliquent comment obtenir les noms des métriques pour les quotas et les limites système à l'aide de la console Google Cloud ou de la gcloud CLI.

Console

  1. Dans la console Google Cloud , accédez à la page IAM et administration > Quotas et limites du système :

    Accéder à la page Quotas et limites du système

    Le tableau de cette page affiche les quotas et les limites du système qui sont utilisés ou dont les valeurs ont été ajustées, ainsi qu'une entrée de référence pour les autres quotas. L'entrée de référence comporte le mot "default" entre parenthèses à la fin de la liste dans la colonne Nom. Par exemple, SetIAMPolicy requests per minute per region (default) est l'entrée de référence pour le quota SetIamPolicyRequestsPerMinutePerProject.

  2. Si la colonne Métrique ne s'affiche pas, procédez comme suit.

    1. Cliquez sur Options d'affichage des colonnes.
    2. Sélectionnez Metric (Métrique).
    3. Cliquez sur OK. La colonne Métrique s'affiche dans le tableau.

La colonne Métrique indique les noms des métriques. Pour filtrer les résultats, saisissez un nom ou une valeur de propriété dans le champ situé à côté de  Filtrer.

gcloud

Pour obtenir les noms des métriques d'un service Google Cloud à l'aide de la gcloud CLI, exécutez la commande quotas info list. Pour ignorer les lignes qui ne listent pas les noms de métriques, transmettez le résultat à une commande telle que grep avec metric: comme terme de recherche, ou utilisez l'option gcloud CLI --format :

gcloud beta quotas info list --project=PROJECT_ID_OR_NUMBER \
    --service=SERVICE_NAME --format="value(metric)"

Remplacez les éléments suivants :

  • PROJECT_ID_OR_NUMBER : ID ou numéro du projet.
  • SERVICE_NAME : nom du service dont vous souhaitez afficher les métriques de quota. Par exemple, le nom du service Compute Engine est compute.googleapis.com. Incluez la partie googleapis.com du nom du service.