Glossaire de l'IA générative

Ce glossaire définit les termes liés à l'intelligence artificielle (IA) générative.

Agents IA

Un agent IA est une application qui atteint un objectif en traitant des entrées, en effectuant un raisonnement avec les outils disponibles et en prenant des mesures en fonction de ses décisions. Les agents IA utilisent l'appel de fonction pour mettre en forme l'entrée et garantir des interactions précises avec les outils externes. Le schéma suivant montre les composants d'un agent IA :

Un agent IA se compose d'une couche d'orchestration, d'un modèle et d'outils.

Comme le montre le schéma précédent, les agents IA se composent des éléments suivants :

  • Orchestration : la couche d'orchestration d'un agent gère la mémoire, l'état et la prise de décision en contrôlant le plan, l'utilisation des outils et le flux de données. L'orchestration comprend les composants suivants :
    • Profil et instructions : l'agent adopte un rôle ou un persona spécifique pour orienter ses actions et ses décisions.
    • Mémoire : pour conserver le contexte et l'état, l'agent conserve une mémoire à court terme et une mémoire à long terme. La mémoire à court terme contient le contexte immédiat et les informations nécessaires à la tâche en cours. La mémoire à long terme conserve l'historique complet de la conversation.
    • Raisonnement et planification : l'agent utilise le modèle pour décomposer la tâche et réfléchir, puis il crée un plan. Tout d'abord, l'agent sépare la requête de l'utilisateur en sous-composants pour gérer les tâches complexes en appelant une ou plusieurs fonctions. Ensuite, l'agent réfléchit aux résultats de la fonction en utilisant le raisonnement et les commentaires pour améliorer la réponse.
  • Modèle : tout modèle de langage génératif qui traite des objectifs, crée des plans et génère des réponses. Pour des performances optimales, un modèle doit être compatible avec l'appel de fonction et doit être entraîné avec des signatures de données provenant d'outils ou d'étapes de raisonnement.
  • Outils : ensemble d'outils, y compris des API, des services ou des fonctions, qui récupèrent des données et effectuent des actions ou des transactions. Les outils permettent aux agents d'interagir avec des données et des services externes.

Pour les applications qui nécessitent une prise de décision autonome, une gestion complexe des workflows en plusieurs étapes ou des expériences adaptatives, les agents IA sont plus performants que les modèles de fondation standards. Les agents excellent dans la résolution de problèmes en temps réel à l'aide de données externes et dans l'automatisation des tâches nécessitant beaucoup de connaissances. Ces fonctionnalités permettent à un agent de fournir des résultats plus robustes que les fonctionnalités de génération de texte passives des modèles de fondation.

Pour en savoir plus sur les agents IA, consultez Qu'est-ce qu'un agent IA ?.

fenêtre de contexte

Une fenêtre de contexte correspond au nombre de jetons qu'un modèle de fondation peut traiter dans une requête donnée. Une fenêtre de contexte plus grande permet au modèle d'accéder à davantage d'informations et d'en traiter plus, ce qui se traduit par des réponses plus cohérentes, pertinentes et complètes.

Les modèles Gemini sont conçus avec de grandes fenêtres de contexte pour gérer ces volumes d'informations plus importants. Pour vous donner une idée de l'échelle, un modèle doté d'une fenêtre de contexte d'un million de jetons peut traiter l'une des entrées suivantes :

  • 50 000 lignes de code (avec 80 caractères par ligne)
  • Tous les messages que vous avez envoyés au cours des cinq dernières années
  • 8 romans anglais de longueur moyenne
  • Transcriptions de plus de 200 épisodes de podcast de durée moyenne
  • 1 heure de vidéo sans audio
  • Environ 45 minutes de vidéo avec audio
  • 9,5 heures d'audio

Pour en savoir plus sur les bonnes pratiques concernant les requêtes à contexte long, consultez Contexte long.

embedding

Un embedding est une représentation numérique de données, telles que du texte, des images ou des vidéos, qui capture les relations entre différentes entrées. Les embeddings sont générés pendant la phase d'entraînement d'un modèle en convertissant du texte, des images et des vidéos en tableaux de nombres à virgule flottante appelés vecteurs. Les embeddings réduisent souvent la dimensionnalité des données, ce qui permet d'améliorer l'efficacité des calculs et de traiter de grands ensembles de données. Cette réduction de la dimensionnalité est cruciale pour l'entraînement et le déploiement de modèles complexes.

Les modèles de machine learning (ML) nécessitent que les données soient exprimées dans un format qu'ils peuvent traiter. Les embeddings répondent à cette exigence en mappant les données dans un espace vectoriel continu où une plus grande proximité reflète des points de données ayant des significations similaires. Les embeddings permettent aux modèles de discerner des schémas et des relations nuancés qui seraient masqués dans les données brutes.

Par exemple, les grands modèles de langage (LLM) s'appuient sur des embeddings pour comprendre le contexte et la signification du texte. Cette compréhension permet au LLM de générer des réponses cohérentes et pertinentes. Dans la génération d'images, les embeddings capturent les caractéristiques visuelles des images, ce qui permet aux modèles de créer des résultats réalistes et variés.

Les systèmes qui utilisent la génération augmentée par récupération (RAG) s'appuient sur des embeddings pour faire correspondre les requêtes des utilisateurs avec les connaissances pertinentes. Lorsqu'une requête est posée, elle est convertie en embedding, qui est ensuite comparé aux embeddings des documents de la base de connaissances. Cette comparaison, facilitée par des recherches de similarité dans l'espace vectoriel, permet au système de récupérer les informations les plus pertinentes d'un point de vue sémantique.

Pour en savoir plus sur les modèles d'embedding et les cas d'utilisation, consultez la présentation des API d'embedding.

modèle de fondation

Les modèles de fondation sont des modèles volumineux et puissants entraînés sur de grandes quantités de données, qui couvrent souvent plusieurs modalités telles que le texte, les images, la vidéo et l'audio. Ces modèles utilisent la modélisation statistique pour prédire les réponses probables aux prompts et générer de nouveaux contenus. Ils apprennent des schémas à partir de leurs données d'entraînement, comme des schémas linguistiques pour la génération de texte et des techniques de diffusion pour la génération d'images.

Google propose divers modèles de fondation d'IA générative accessibles via une API gérée. Pour accéder aux modèles de fondation disponibles dans Google Cloud, utilisez Model Garden de Vertex AI.

appel de fonction

L'appel de fonction est une fonctionnalité qui connecte les grands modèles de langage (LLM) à des outils externes tels que des API et des fonctions pour améliorer les réponses du LLM. Cette fonctionnalité permet aux LLM d'aller au-delà des connaissances statiques et d'améliorer les réponses avec des informations et des services en temps réel, tels que des bases de données, des systèmes de gestion de la relation client et des dépôts de documents.

Pour utiliser l'appel de fonction, vous fournissez un ensemble de fonctions au modèle. Ensuite, lorsque vous invitez le modèle, il peut sélectionner et appeler les fonctions en fonction de votre requête. Le modèle analyse la requête, puis génère des données structurées qui spécifient la fonction à appeler et les valeurs de paramètre. La sortie de données structurées appelle la fonction, puis renvoie les résultats au modèle. Le modèle intègre les résultats dans son raisonnement pour générer une réponse. Ce processus permet au modèle d'accéder à des informations qui vont au-delà de ses connaissances internes et de les utiliser, ce qui lui permet d'effectuer des tâches nécessitant des données ou un traitement externes.

L'appel de fonction est un composant essentiel de l'architecture des agents IA. L'appel de fonction fournit au modèle un moyen structuré de spécifier l'outil à utiliser et la mise en forme de l'entrée, ce qui permet de garantir des interactions précises avec les systèmes externes.

Pour en savoir plus sur l'appel de fonction dans Gemini, consultez Présentation de l'appel de fonction.

IA générative

L'IA générative est un type d'IA qui va au-delà de la classification et de la prédiction, qui sont les domaines de prédilection de l'IA traditionnelle. Les modèles d'IA traditionnels apprennent à partir des données existantes pour classer des informations ou prédire les résultats futurs en fonction de modèles historiques. L'IA générative utilise des modèles de fondation pour générer de nouveaux contenus, tels que du texte, des images, de l'audio ou des vidéos. Ce nouveau contenu est généré en apprenant les schémas et le style sous-jacents des données d'entraînement, ce qui permet au modèle de créer des résultats qui ressemblent aux données sur lesquelles il a été entraîné.

Découvrez quand utiliser l'IA générative et les cas d'utilisation professionnels de l'IA générative.

grounding

L'ancrage consiste à connecter la sortie d'un modèle à des sources d'informations vérifiables. Ces sources peuvent fournir des informations pratiques et spécifiques au contexte, telles que de la documentation interne de l'entreprise, des données spécifiques au projet ou des enregistrements de communication. L'ancrage permet d'améliorer la précision, la fiabilité et l'utilité des résultats de l'IA en fournissant au modèle l'accès à des sources de données spécifiques. L'ancrage réduit la probabilité d'hallucinations, c'est-à-dire les cas où le modèle génère un contenu qui n'est pas factuel. Un type d'ancrage courant est la génération augmentée par récupération (RAG), qui consiste à récupérer des informations externes pertinentes pour améliorer les réponses du modèle.

Pour en savoir plus sur l'ancrage avec la recherche Google, consultez Présentation de l'ancrage.

grand modèle de langage (LLM)

Un grand modèle de langage (LLM) est un modèle de fondation basé sur du texte, entraîné sur une grande quantité de données. Les LLM sont utilisés pour effectuer des tâches de traitement du langage naturel (TLN), telles que la génération de texte, la traduction automatique, la synthèse de texte et les systèmes de questions-réponses. Le terme LLM est parfois utilisé de manière interchangeable avec modèles de fondation. Cependant, les LLM sont basés sur du texte, tandis que les modèles de fondation peuvent être entraînés avec plusieurs modalités et recevoir des entrées de plusieurs modalités, y compris du texte, des images, de l'audio et de la vidéo.

Pour apprendre les schémas et les relations au sein du langage, les LLM utilisent des techniques telles que l'apprentissage par renforcement et l'ajustement des instructions. Lorsque vous concevez des requêtes, il est important de prendre en compte les différents facteurs susceptibles d'influencer les réponses du modèle.

latence

La latence est le temps nécessaire à un modèle pour traiter un prompt d'entrée et générer une réponse. Lorsque vous examinez la latence d'un modèle, tenez compte des points suivants :

  • Délai d'émission du premier jeton (TTFT) : temps nécessaire au modèle pour produire le premier jeton de la réponse après avoir reçu le prompt. Le TTFT est important pour les applications de streaming pour lesquelles vous souhaitez obtenir un retour immédiat.
  • Délai d'émission du dernier jeton (TTLT) : temps total nécessaire au modèle pour traiter le prompt et générer la réponse complète.

Pour en savoir plus sur la réduction de la latence, consultez Bonnes pratiques avec les grands modèles de langage (LLM).

prompt engineering

Le prompt engineering est le processus itératif de création d'un prompt et d'accès à la réponse du modèle pour obtenir la réponse souhaitée. Pour rédiger des réponses précises et de haute qualité à partir d'un modèle de langage, il est essentiel de rédiger des requêtes bien structurées.

Voici quelques techniques courantes que vous pouvez utiliser pour améliorer les réponses :

  • Prompting zero-shot : fournissez un prompt sans aucun exemple et fiez-vous aux connaissances préexistantes du modèle.
  • Prompting one-shot : fournissez un seul exemple dans le prompt pour guider la réponse du modèle.
  • Prompting few-shot : fournissez plusieurs exemples dans le prompt pour illustrer le modèle ou la tâche que vous souhaitez.

Lorsque vous fournissez des exemples à un modèle, vous l'aidez à contrôler certains aspects de sa réponse, tels que la mise en forme, la formulation, le champ d'application et les modèles globaux. Les prompts few-shot efficaces combinent des instructions claires avec des exemples spécifiques et variés. Il est important de faire des tests pour déterminer le nombre optimal d'exemples. Un nombre insuffisant d'exemples peut ne pas fournir assez d'indications, mais un nombre trop élevé d'exemples peut entraîner un surapprentissage du modèle et l'empêcher de généraliser correctement.

Pour en savoir plus sur les bonnes pratiques concernant les requêtes, consultez Présentation des stratégies de requête.

par chaîne de pensée

Un prompt est une requête en langage naturel envoyée à un modèle d'IA générative afin de déclencher une réponse. Selon le modèle, un prompt peut contenir du texte, des images, des vidéos, de l'audio, des documents et d'autres modalités, voire des modalités multiples (prompt multimodal).

Un prompt efficace se compose d'un contenu et d'une structure. Le contenu fournit toutes les informations pertinentes sur la tâche, telles que les instructions, les exemples et le contexte. La structure garantit une analyse efficace grâce à l'organisation, y compris l'ordre, l'étiquetage et les délimiteurs. En fonction du résultat souhaité, vous pouvez envisager d'utiliser des composants supplémentaires.

paramètres du modèle

Les paramètres de modèle sont des variables internes qu'un modèle utilise pour déterminer comment il traite les données d'entrée et comment il génère les sorties. Pendant l'entraînement, vous pouvez ajuster les paramètres du modèle, tels que la pondération et le biais, pour optimiser ses performances. Pendant l'inférence, vous pouvez influencer la sortie du modèle via différents paramètres de requête, ce qui ne modifie pas directement les paramètres du modèle appris.

Voici quelques-uns des paramètres de prompt qui affectent la génération de contenu dans l'API Gemini dans Vertex AI :

  • temperature : la température modifie le caractère aléatoire de la sélection des jetons lors de la génération de la réponse, ce qui influence la créativité et la prévisibilité du résultat. La valeur de temperature est comprise entre 0 et 1. Les températures plus basses (proches de 0) produisent des résultats plus déterministes et prévisibles. Les températures plus élevées (proches de 1) génèrent un texte plus diversifié et créatif, mais les résultats sont potentiellement moins cohérents.
  • topP : top-P modifie la façon dont le modèle échantillonne et sélectionne les jetons pour la sortie. Top-P sélectionne le plus petit ensemble de jetons dont la probabilité cumulée dépasse un seuil, ou p, puis échantillonne à partir de cette distribution. La valeur de topP est comprise entre 0 et 1. Par exemple, si les jetons A, B et C ont une probabilité de 0, 3, 0, 2 et 0, 1, et que la valeur de topP est 0.5, le modèle sélectionne A ou B comme jeton suivant à l'aide de la température et exclut le jeton C comme candidat.
  • topK : top-K modifie la façon dont le modèle échantillonne et sélectionne les jetons pour la sortie. Top-K sélectionne les jetons les plus probables d'un point de vue statistique pour générer une réponse. La valeur de topK représente un nombre de jetons compris entre 1 et 40, parmi lesquels le modèle choisira avant de générer une réponse. Par exemple, si les jetons A, B, C et D ont une probabilité de 0, 6, 0, 5, 0,2 et 0, 1 et que la valeur de top-K est 3, le modèle sélectionne A, B ou C comme jeton suivant à l'aide de la température et exclut le jeton D comme candidat.
  • maxOutputTokens : le paramètre maxOutputTokens modifie le nombre maximal de jetons pouvant être générés dans la réponse. Une valeur inférieure générera des réponses plus courtes, tandis qu'une valeur supérieure générera des réponses potentiellement plus longues.

Pour en savoir plus sur les paramètres d'échantillonnage dans l'API Gemini dans Vertex AI, consultez Paramètres de génération de contenu.

génération augmentée par récupération (RAG)

La génération augmentée par récupération (RAG) est une technique permettant d'améliorer la qualité et la précision de la sortie d'un grand modèle de langage (LLM) en l'ancrant avec des sources de connaissances récupérées après l'entraînement du modèle. Le RAG permet de contourner les limites des LLM, telles que les inexactitudes factuelles, le manque d'accès à des informations récentes ou spécialisées, et l'incapacité à citer des sources. En fournissant un accès à des informations extraites de bases de connaissances ou de documents fiables (y compris des données sur lesquelles le modèle n'a pas été entraîné, des données propriétaires ou des données sensibles spécifiques à l'utilisateur), le RAG permet aux LLM de générer des réponses plus fiables et adaptées au contexte.

Lorsqu'un modèle qui utilise le RAG reçoit votre requête, le processus de RAG effectue les étapes suivantes :

  1. Récupérer : rechercher des données pertinentes pour la requête.
  2. Augmenter : ajoutez les données récupérées au prompt.
  3. Générer :
    1. Demandez au LLM de créer un résumé ou une réponse en fonction du prompt augmenté.
    2. Renvoyer la réponse.

Pour en savoir plus sur Vertex AI et le RAG, consultez la présentation du moteur RAG de Vertex AI.

jetons

Un jeton est une unité de données de base qu'un modèle de fondation traite. Les modèles séparent les données d'un prompt en jetons pour le traitement. L'ensemble de tous les jetons utilisés par un modèle est appelé vocabulaire. Les jetons peuvent être des caractères uniques comme z, des mots entiers comme cat ou des parties de mots plus longs.

Les tokenizers séparent les mots longs (tels que les termes complexes ou techniques, les mots composés ou les mots contenant des signes de ponctuation et des caractères spéciaux) en plusieurs jetons. Le processus de division du texte en jetons est appelé tokenisation. L'objectif de la tokenisation est de créer des jetons ayant une signification sémantique qui peuvent être recombinés pour comprendre le mot d'origine. Par exemple, le mot "prédéfini" peut être divisé en jetons suivants : "pré", "définir", "i".

Les jetons peuvent représenter des entrées multimodales telles que des images, des vidéos et des fichiers audio. Les techniques d'embedding transforment les entrées multimodales en représentations numériques que le modèle peut traiter comme des jetons. Voici les calculs approximatifs de jetons pour un exemple d'entrée multimodale, quelle que soit la taille d'affichage ou du fichier :

  • Images : 258 jetons au total
  • Vidéo : 263 jetons par seconde
  • Audio : 32 jetons par seconde

Chaque modèle est limité quant au nombre de jetons qu'il peut gérer dans un prompt et une réponse. De plus, les coûts d'utilisation du modèle sont calculés en fonction du nombre de jetons d'entrée et de sortie. Pour savoir comment obtenir le nombre de jetons d'un prompt envoyé à un modèle Gemini, consultez Lister et compter les jetons. Pour en savoir plus sur le coût des modèles d'IA générative sur Vertex AI, consultez Tarifs de Vertex AI.

Réglage des hyperparamètres

Le réglage est le processus d'adaptation d'un modèle de fondation pour effectuer des tâches spécifiques avec plus de précision et de justesse. Le réglage est effectué en ajustant certains ou tous les paramètres du modèle, ou en entraînant un modèle sur un ensemble de données contenant des exemples qui reproduisent les tâches et les résultats souhaités. Le réglage est un processus itératif qui peut être complexe et coûteux, mais qui peut permettre d'améliorer considérablement les performances. Le réglage est plus efficace lorsque vous disposez d'un ensemble de données étiqueté contenant plus de 100 exemples et que vous souhaitez effectuer des tâches complexes ou uniques pour lesquelles les techniques de requêtes ne suffisent pas.

Voici les techniques de réglage compatibles avec Vertex AI :

  • Affinage complet : technique qui met à jour tous les paramètres du modèle pendant le processus d'affinage. L'affinage complet peut être coûteux en ressources de calcul et nécessiter beaucoup de données, mais il peut également permettre d'atteindre les niveaux de performances les plus élevés, en particulier pour les tâches complexes.
  • Réglage des paramètres avec optimisation : technique également appelée réglage de l'adaptateur. Le réglage des paramètres avec optimisation met à jour certains paramètres du modèle au cours du processus de réglage. Le réglage des paramètres avec optimisation est plus économe en ressources et plus économique par rapport à l'affinage complet.
  • Affinage supervisé : technique qui entraîne le modèle sur des paires d'entrées-sorties étiquetées. L'affinage supervisé est couramment utilisé pour les tâches de classification, de traduction et de synthèse.

Pour en savoir plus sur le réglage, consultez Présentation du réglage.