Glossário de IA generativa

Este glossário define termos de inteligência artificial (IA) generativa.

Agentes de IA

Um agente de IA é um aplicativo que alcança um objetivo processando entradas, realizando raciocínios com as ferramentas disponíveis e entrando em ação com base nas decisões. Os agentes de IA usam a chamada de função para formatar a entrada e garantir interações precisas com ferramentas externas. O diagrama a seguir mostra os componentes de um agente de IA:

Um agente de IA consiste em uma camada de orquestração, um modelo e ferramentas.

Conforme mostrado no diagrama anterior, os agentes de IA consistem nos seguintes componentes:

  • Orquestração: a camada de orquestração de um agente gerencia a memória, o estado e a tomada de decisões controlando o plano, o uso de ferramentas e o fluxo de dados. A orquestração inclui os seguintes componentes:
    • Perfil e instruções: o agente assume um papel ou uma persona específica para direcionar as ações e a tomada de decisões.
    • Memória: para manter o contexto e o estado, o agente retém memórias de curto e longo prazo. A memória de curto prazo armazena o contexto imediato e as informações necessárias para a tarefa atual. A memória de longo prazo retém o histórico completo da conversa.
    • Raciocínio e planejamento: o agente usa o modelo para realizar a decomposição e a reflexão de tarefas e, em seguida, cria um plano. Primeiro, o agente separa o comando do usuário em subcomponentes para lidar com tarefas complexas chamando uma ou mais funções. Em seguida, o agente reflete sobre as saídas da função usando raciocínio e feedback para melhorar a resposta.
  • Modelo: qualquer modelo de linguagem generativa que processe metas, crie planos e gere respostas. Para um desempenho ideal, um modelo precisa oferecer suporte à chamada de função e ser treinado com assinaturas de dados de ferramentas ou etapas de raciocínio.
  • Ferramentas: um conjunto de ferramentas, incluindo APIs, serviços ou funções que buscam dados e realizam ações ou transações. As ferramentas permitem que os agentes interajam com dados e serviços externos.

Para aplicativos que exigem tomada de decisões autônoma, gerenciamento de fluxos de trabalho complexos com várias etapas ou experiências adaptáveis, os agentes de IA têm um desempenho melhor do que os modelos de fundação padrão. Os agentes são excelentes para resolver problemas em tempo real usando dados externos e automatizar tarefas que exigem muito conhecimento. Esses recursos permitem que um agente forneça resultados mais robustos do que os recursos passivos de geração de texto dos modelos de fundação.

Para mais informações sobre agentes de IA, consulte O que é um agente de IA.

janela de contexto

Uma janela de contexto é o número de tokens que um modelo de fundação pode processar em um determinado comando. Uma janela de contexto maior permite que o modelo acesse e processe mais informações, o que leva a respostas mais coerentes, relevantes e abrangentes.

Os modelos do Gemini são criados especificamente com janelas de contexto longas para lidar com essas quantidades maiores de informações. Para dar uma ideia de escala, um modelo com uma janela de contexto de 1 milhão de tokens pode processar qualquer uma das seguintes entradas:

  • 50.000 linhas de código (com o padrão de 80 caracteres por linha)
  • Todas as mensagens de texto que você enviou nos últimos cinco anos
  • 8 romances em inglês de tamanho médio
  • Transcrição de mais de 200 episódios de podcast de duração média
  • 1 hora de vídeo sem áudio
  • Aproximadamente 45 minutos de vídeo com áudio
  • 9,5 horas de áudio

Para mais informações sobre as práticas recomendadas para comandos de contexto longo, consulte Contexto longo.

embedding

Um embedding é uma representação numérica de dados, como texto, imagens ou vídeos, que captura relações entre diferentes entradas. Os embeddings são gerados durante a fase de treinamento de um modelo, convertendo texto, imagem e vídeo em matrizes de números de ponto flutuante chamados de vetores. Os embeddings geralmente reduzem a dimensionalidade dos dados, o que ajuda a aumentar a eficiência computacional e a permitir o processamento de grandes conjuntos de dados. Essa redução na dimensionalidade é crucial para treinar e implantar modelos complexos.

Os modelos de machine learning (ML) exigem que os dados sejam expressos em um formato que eles possam processar. Os embeddings atendem a esse requisito mapeando dados em um espaço vetorial contínuo, em que uma proximidade maior reflete pontos de dados com significados semelhantes. Os embeddings permitem que os modelos identifiquem padrões e relações sutis que seriam ocultados em dados brutos.

Por exemplo, os modelos de linguagem grandes (LLMs) dependem de embeddings para entender o contexto e o significado do texto. Essa compreensão permite que o LLM gere respostas coerentes e relevantes. Na geração de imagens, os embeddings capturam os recursos visuais das imagens, o que permite que os modelos criem saídas realistas e diversas.

Os sistemas que usam a geração aumentada por recuperação (RAG) dependem de embeddings para corresponder as consultas dos usuários com o conhecimento relevante. Quando uma consulta é feita, ela é convertida em um embedding, que é comparado aos embeddings de documentos que estão na base de conhecimento. Essa comparação, que é facilitada por pesquisas de similaridade no espaço vetorial, permite que o sistema recupere as informações mais relevantes em termos semânticos.

Para mais informações sobre modelos de embedding e casos de uso, consulte Visão geral das APIs de embedding.

modelo de fundação

Os modelos de fundação são modelos grandes e avançados treinados com grandes quantidades de dados, que geralmente abrangem várias modalidades, como texto, imagens, vídeo e áudio. Esses modelos usam modelagem estatística para prever respostas prováveis a comandos e gerar conteúdo novo. Eles aprendem padrões com os dados de treinamento, como padrões de linguagem para geração de texto e técnicas de difusão para geração de imagens.

O Google oferece vários modelos de fundação de IA generativa que podem ser acessados por uma API gerenciada. Para acessar os modelos de fundação disponíveis no Google Cloud, use o Model Garden da Vertex AI.

chamada de função

A chamada de função é um recurso que conecta modelos de linguagem grandes (LLMs) a ferramentas externas, como APIs e funções, para melhorar as respostas do LLM. Esse recurso permite que os LLMs vão além do conhecimento estático e melhorem as respostas com informações e serviços em tempo real, como bancos de dados, sistemas de gestão de relacionamento com o cliente e repositórios de documentos.

Para usar a chamada de função, forneça ao modelo um conjunto de funções. Em seguida, quando você solicitar o modelo, ele poderá selecionar e chamar as funções com base na sua solicitação. O modelo analisa o comando e gera dados estruturados que especificam qual função chamar e os valores de parâmetro. A saída de dados estruturados chama a função e, em seguida, retorna os resultados para o modelo. O modelo incorpora os resultados ao raciocínio para gerar uma resposta. Esse processo permite que o modelo acesse e utilize informações que vão além do conhecimento interno, o que permite que ele execute tarefas que exigem dados ou processamento externos.

A chamada de função é um componente essencial na arquitetura de agentes de IA. A chamada de função oferece uma maneira estruturada para o modelo especificar qual ferramenta usar e como formatar a entrada, o que ajuda a garantir interações precisas com sistemas externos.

Para mais informações sobre chamadas de função no Gemini, consulte Introdução às chamadas de função.

IA generativa

A IA generativa é um tipo de IA que vai além do foco tradicional em classificação e previsão. Os modelos tradicionais de IA aprendem com dados atuais para classificar informações ou prever resultados futuros com base em padrões históricos. A IA generativa usa modelos de fundação para gerar novos conteúdos, como textos, imagens, áudios ou vídeos. Esse novo conteúdo é gerado pelo aprendizado dos padrões e do estilo dos dados de treinamento, o que permite que o modelo crie saídas semelhantes aos dados em que foi treinado.

Saiba mais sobre quando usar a IA generativa e casos de uso comercial da IA generativa.

Embasamento

Embasamento é o processo de conectar a saída de um modelo a fontes de informações verificáveis. Essas fontes podem fornecer informações práticas e específicas do contexto, como documentação interna da empresa, dados específicos do projeto ou registros de comunicação. O embasamento ajuda a melhorar a precisão, a confiabilidade e a utilidade das saídas de IA, fornecendo ao modelo acesso a fontes de dados específicas. O embasamento reduz a probabilidade de alucinações, que são casos em que o modelo gera conteúdo que não é factual. Um tipo comum de embasamento é a geração aumentada por recuperação (RAG), que envolve a recuperação de informações externas relevantes para melhorar as respostas do modelo.

Para mais informações sobre o embasamento com a Pesquisa Google, consulte Visão geral do embasamento.

modelo de linguagem grande (LLM)

Um modelo de linguagem grande (LLM) é um modelo de fundação baseado em texto treinado com uma grande quantidade de dados. Os LLMs são usados para realizar tarefas de processamento de linguagem natural (PLN), como geração de texto, tradução automática, resumo de texto e respostas a perguntas. O termo LLM às vezes é usado como sinônimo de modelos de fundação. No entanto, os LLMs são baseados em texto, enquanto os modelos de fundação podem ser treinados e receber entradas de várias modalidades, incluindo texto, imagens, áudio e vídeo.

Para aprender os padrões e as relações dentro da linguagem, os LLMs usam técnicas como aprendizado por reforço e ajuste de instruções. Ao criar comandos, é importante considerar os vários fatores que podem influenciar as respostas do modelo.

latência

Latência é o tempo que um modelo leva para processar um comando de entrada e gerar uma resposta. Ao examinar a latência de um modelo, considere o seguinte:

  • Tempo até o primeiro token (TTFT): o tempo que o modelo leva para produzir o primeiro token da resposta depois de receber o comando. O TTFT é importante para aplicativos de streaming em que você quer feedback imediato.
  • Tempo até o último token (TTLT): o tempo total que o modelo leva para processar o comando e gerar a resposta completa.

Para informações sobre como reduzir a latência, consulte Práticas recomendadas com modelos de linguagem grandes (LLMs).

engenharia de comando

A engenharia de comandos é o processo iterativo de criar um comando e acessar a resposta do modelo para receber a resposta desejada. Escrever comandos bem estruturados pode ser essencial para garantir respostas precisas e de alta qualidade de um modelo de linguagem.

Confira a seguir algumas técnicas comuns que você pode usar para melhorar as respostas:

  • Comandos zero-shot: forneça um comando sem exemplos e use o conhecimento preexistente do modelo.
  • Comando one-shot: forneça um único exemplo no comando para orientar a resposta do modelo.
  • Comandos de poucos disparos (few-shot): forneça vários exemplos no comando para demonstrar o padrão ou a tarefa que você quer.

Ao fornecer exemplos para um modelo, você ajuda a controlar aspectos da resposta, como formatação, fraseado, escopo e padrões gerais. Os comandos de poucos disparos eficazes combinam instruções claras com exemplos específicos e variados. É importante fazer testes para determinar o número ideal de exemplos. Poucos exemplos podem não fornecer orientação suficiente, mas muitos exemplos podem fazer com que o modelo apresente overfitting e não generalize bem.

Para mais informações sobre as práticas recomendadas para comandos, consulte Visão geral das estratégias de comando.

linha de raciocínio

Um comando é uma solicitação em linguagem natural enviada a um modelo de IA generativa para receber uma resposta. Dependendo do modelo, um comando pode conter texto, imagens, vídeos, áudio, documentos e outras modalidades, ou até mesmo várias modalidades (multimodal).

Um comando eficaz consiste em conteúdo e estrutura. O conteúdo fornece todas as informações relevantes da tarefa, como instruções, exemplos e contexto. A estrutura garante uma análise eficiente por meio da organização, incluindo ordenação, rotulagem e delimitadores. Dependendo da saída que você quer, considere outros componentes.

parâmetros do modelo

Os parâmetros de modelo são variáveis internas que um modelo usa para determinar como ele processa os dados de entrada e gera as saídas. Durante o treinamento, é possível ajustar os parâmetros do modelo, como peso e viés, para otimizar o desempenho do modelo. Durante a inferência, é possível influenciar a saída do modelo usando vários parâmetros de comando, que não mudam diretamente os parâmetros do modelo aprendido.

Veja a seguir alguns dos parâmetros de comando que afetam a geração de conteúdo na API Gemini na Vertex AI:

  • temperature: a temperatura muda a aleatoriedade da seleção de tokens durante a geração de respostas, o que influencia a criatividade e a previsibilidade do resultado. O valor de temperature varia de 0 a 1. Temperaturas mais baixas (mais próximas de 0) produzem resultados mais deterministas e previsíveis. Temperaturas mais altas (mais próximas de 1) geram textos mais diversos e criativos, mas os resultados podem ser menos coerentes.
  • topP: o Top-P muda a forma como o modelo faz a amostragem e seleciona tokens para saída. Top-P seleciona o menor conjunto de tokens cuja probabilidade cumulativa excede um limite, ou p, e, em seguida, faz uma amostragem dessa distribuição. O valor de topP varia de 0 a 1. Por exemplo, se os tokens A, B e C tiverem uma probabilidade de 0,3, 0,2 e 0,1 e o valor de topP for 0.5, o modelo vai selecionar A ou B como token seguinte com o uso da temperatura e excluir C como candidato.
  • topK: o Top-K muda a forma como o modelo faz amostragem e seleciona tokens para saída. Top-K seleciona os tokens estatisticamente mais prováveis para gerar uma resposta. O valor de topK representa um número de tokens de 1 a 40, que o modelo vai escolher antes de gerar uma resposta. Por exemplo, se os tokens A, B, C e D tiverem uma probabilidade de 0, 6, 0, 5, 0,2 e 0, 1 e o valor de Top-K for 3, o modelo vai selecionar A, B ou C como o próximo token usando a temperatura e excluirá D como candidato.
  • maxOutputTokens: a configuração maxOutputTokens muda o número máximo de tokens que podem ser gerados na resposta. Um valor menor vai gerar respostas mais curtas, e um valor maior vai gerar respostas possivelmente mais longas.

Para mais informações sobre parâmetros de amostragem na API Gemini na Vertex AI, consulte Parâmetros de geração de conteúdo.

geração aumentada por recuperação (RAG)

A geração aumentada por recuperação (RAG) é uma técnica para melhorar a qualidade e a acurácia da saída do modelo de linguagem grande (LLM) embasando-a com fontes de conhecimento recuperadas após o treinamento do modelo. A RAG resolve limitações de LLMs, como imprecisões factuais, falta de acesso a informações atuais ou especializadas e incapacidade de citar fontes. Ao fornecer acesso a informações recuperadas de bases de conhecimento ou documentos confiáveis, incluindo dados que não foram usados no treinamento do modelo, dados próprios ou dados sensíveis específicos do usuário, a RAG permite que os LLMs gerem respostas mais confiáveis e contextualmente relevantes.

Quando um modelo que usa RAG recebe seu comando, o processo de RAG conclui estas etapas:

  1. Recuperar: pesquisar dados relevantes para o comando.
  2. Aumentar: anexar os dados recuperados ao comando.
  3. Gerar:
    1. Instrua o LLM a criar um resumo ou uma resposta com base no comando aumentado.
    2. Retorne a resposta.

Para mais informações sobre a Vertex AI e a RAG, consulte a Visão geral do Mecanismo RAG da Vertex AI.

tokens

Um token é uma unidade básica de dados que um modelo de fundação processa. Os modelos separam os dados de um comando em tokens para processamento. O conjunto de todos os tokens usados por um modelo é chamado de vocabulário. Os tokens podem ser caracteres únicos, como z, palavras inteiras, como cat, ou partes de palavras mais longas.

Os tokenizadores separam palavras longas, como termos complexos ou técnicos, palavras compostas ou palavras com pontuação e caracteres especiais, em vários tokens. O processo de dividir o texto em tokens é chamado de tokenização. O objetivo da tokenização é criar tokens com significado semântico que possam ser recombinados para entender a palavra original. Por exemplo, a palavra "predefinido" pode ser dividida nos seguintes tokens: "pre", "defini", "do".

Os tokens podem representar entradas multimodais, como imagens, vídeos e áudio. As técnicas de embedding transformam entradas multimodais em representações numéricas que o modelo pode processar como tokens. Confira a seguir os cálculos aproximados de tokens para um exemplo de entrada multimodal, independentemente do tamanho da exibição ou do arquivo:

  • Imagens: 258 tokens no total
  • Vídeo: 263 tokens por segundo
  • Áudio: 32 tokens por segundo

Cada modelo tem um limite de tokens que pode ser processado em um comando e uma resposta. Além disso, os custos de uso do modelo são calculados com base no número de tokens de entrada e saída. Para saber como receber a contagem de tokens de um comando enviado a um modelo do Gemini, consulte Listar e contar tokens. Para informações sobre o custo dos modelos de IA generativa na Vertex AI, consulte Preços da Vertex AI.

hiperparâmetros

O ajuste é o processo de adaptação de um modelo de fundação para realizar tarefas específicas com maior precisão e acurácia. O ajuste é feito ajustando alguns ou todos os parâmetros do modelo ou treinando um modelo em um conjunto de dados que contém exemplos que replicam as tarefas e os resultados desejados. O ajuste é um processo iterativo, que pode ser complexo e caro, mas tem o potencial de gerar melhorias significativas de desempenho. O ajuste é mais eficaz quando você tem um conjunto de dados rotulado com mais de 100 exemplos e quer realizar tarefas complexas ou exclusivas em que as técnicas de comando não são suficientes.

Confira a seguir as técnicas de ajuste compatíveis com a Vertex AI:

  • Ajuste fino completo: uma técnica que atualiza todos os parâmetros do modelo durante o processo de ajuste. O ajuste fino completo pode ser computacionalmente caro e exigir muitos dados, mas também tem o potencial de alcançar os mais altos níveis de desempenho, especialmente para tarefas complexas.
  • Ajuste eficiente de parâmetros: uma técnica também conhecida como ajuste de adaptadores. O ajuste eficiente de parâmetros atualiza alguns dos parâmetros do modelo durante o processo de ajuste. O ajuste com eficiência de parâmetros é mais econômico em termos de recursos e custos em comparação com o ajuste fino completo.
  • Ajuste supervisionado: uma técnica que treina o modelo em pares de entrada-saída rotulados. O ajuste supervisionado é usado com frequência para tarefas que envolvem classificação, tradução e resumo.

Para mais informações sobre o ajuste, consulte Introdução ao ajuste.