O Model Armor é um Google Cloud serviço projetado para aumentar a segurança e a segurança dos aplicativos de IA, principalmente aqueles que usam modelos de linguagem grandes (LLMs). Ele funciona inspecionando os comandos enviados aos modelos e as respostas geradas por eles, ajudando a mitigar riscos e aplicar práticas de IA responsável.
Para detalhes sobre as descobertas criadas pelo Model Armor, consulte Descobertas do Model Armor.
Configurar modelos
Defina como o Model Armor deve verificar o conteúdo criando e usando modelos do Model Armor. Um modelo é um conjunto de configurações reutilizável em que você especifica quais filtros ativar, os níveis de confiança deles e o tipo de aplicação para cada filtro. Para mais informações, consulte Criar e gerenciar modelos.
Definir configurações mínimas
Para garantir um nível básico de proteção, os administradores de segurança podem definir configurações mínimas no nível da organização, da pasta ou do projeto. Essas configurações exigem requisitos mínimos de filtro que todos os modelos do Model Armor criados nesse escopo precisam seguir, ajudando a evitar configurações excessivamente permissivas. Para mais informações, consulte Definir configurações mínimas.
Sanitizar comandos e respostas
Quando um usuário envia um comando ao aplicativo, ele primeiro envia esse comando ao Model Armor. O Model Armor processa o comando pelos filtros ativados no modelo e retorna uma resposta indicando se alguma violação de política foi encontrada e os resultados detalhados de cada filtro. A lógica do aplicativo decide o que fazer em seguida.
Quando um LLM gera uma resposta, antes de mostrá-la ao usuário, o aplicativo a envia ao Model Armor. O Model Armor verifica a saída do LLM usando as configurações de filtro definidas no modelo e retorna os resultados da análise. Em seguida, o aplicativo decide se vai mostrar a resposta ao usuário, possivelmente bloqueando-a se violações forem encontradas.
Para mais informações, consulte Sanitizar comandos e respostas.