Este documento no Framework de arquitetura doGoogle Cloud : perspectiva de IA e ML oferece uma visão geral dos princípios e recomendações para garantir que suas implantações de IA e ML atendam aos requisitos de segurança e compliance da sua organização. As recomendações neste documento estão alinhadas com o pilar de segurança do Well-Architected Framework.
A implantação segura de cargas de trabalho de IA e ML é um requisito essencial, principalmente em ambientes corporativos. Para atender a esse requisito, é preciso adotar uma abordagem de segurança holística que comece na conceituação inicial das soluções de IA e ML e se estenda ao desenvolvimento, à implantação e às operações contínuas. O Google Cloud oferece ferramentas e serviços robustos projetados para ajudar a proteger suas cargas de trabalho de IA e ML.
As recomendações neste documento são mapeadas para os seguintes princípios básicos:
- Defina metas e requisitos claros
- Manter os dados seguros e evitar perdas ou manuseio incorreto
- Manter os pipelines de IA seguros e robustos contra adulterações
- Implantar em sistemas seguros com ferramentas e artefatos seguros
- Verificar e proteger entradas
- Monitorar, avaliar e se preparar para responder às saídas
Para mais informações sobre segurança de IA, consulte também os seguintes recursos:
- O framework de IA segura (SAIF) doGoogle Cloud oferece um guia abrangente para criar sistemas de IA seguros e responsáveis. Ele descreve os princípios fundamentais e as práticas recomendadas para lidar com considerações de segurança e compliance em todo o ciclo de vida da IA.
- Para saber mais sobre a abordagem do Google Cloudem relação à confiança na IA, consulte nossa central de recursos de compliance.
Defina metas e requisitos claros
A segurança eficaz de IA e ML é um componente central da sua estratégia de negócios geral. É mais fácil integrar os controles de segurança e compliance necessários no início do processo de design e desenvolvimento, em vez de adicionar controles após o desenvolvimento.
Desde o início do processo de design e desenvolvimento, tome decisões adequadas para seu ambiente de risco específico e suas prioridades de negócios específicas. Por exemplo, medidas de segurança excessivamente restritivas podem proteger os dados, mas também impedir a inovação e desacelerar os ciclos de desenvolvimento. No entanto, a falta de segurança pode levar a violações de dados, danos à reputação e perdas financeiras, que são prejudiciais às metas de negócios.
Para definir metas e requisitos claros, considere as recomendações a seguir.
Alinhar a segurança de IA e ML com as metas de negócios
Para alinhar seus esforços de segurança de IA e ML com suas metas de negócios, use uma abordagem estratégica que integre a segurança em todas as etapas do ciclo de vida da IA. Para seguir essa abordagem, faça o seguinte:
Defina objetivos de negócios e requisitos de segurança claros:
- Identifique as principais metas de negócios: defina objetivos de negócios claros que suas iniciativas de IA e ML devem alcançar. Por exemplo, seus objetivos podem ser melhorar a experiência do cliente, otimizar as operações ou desenvolver novos produtos.
- Traduza as metas em requisitos de segurança: ao esclarecer suas metas de negócios, defina requisitos de segurança específicos para apoiá-las. Por exemplo, sua meta pode ser usar a IA para personalizar as recomendações aos clientes. Para atingir essa meta, seus requisitos de segurança podem ser proteger a privacidade de dados do cliente e impedir o acesso não autorizado aos algoritmos de recomendação.
Equilibrar a segurança com as necessidades do negócio:
- Realize avaliações de risco: identifique possíveis ameaças à segurança e vulnerabilidades nos seus sistemas de IA.
- Priorize as medidas de segurança: baseie a prioridade dessas medidas de segurança no impacto potencial delas nas suas metas de negócios.
- Analise os custos e benefícios: invista nas soluções mais eficazes. Considere os custos e benefícios de diferentes medidas de segurança.
- Priorizar a segurança: implemente as práticas recomendadas de segurança no início da fase de design e adapte as medidas de segurança conforme as necessidades da empresa mudam e as ameaças surgem.
Identificar possíveis vetores de ataque e riscos
Considere possíveis vetores de ataque que podem afetar seus sistemas de IA, como envenenamento de dados, inversão de modelos ou ataques adversários. Monitore e avalie continuamente a superfície de ataque em evolução à medida que seu sistema de IA se desenvolve e acompanhe novas ameaças e vulnerabilidades. Lembre-se de que as mudanças nos sistemas de IA também podem introduzir mudanças na superfície de ataque.
Para reduzir possíveis riscos legais e de reputação, você também precisa atender aos requisitos de conformidade relacionados à privacidade de dados, ao viés algorítmico e a outras regulamentações relevantes.
Para antecipar possíveis ameaças e vulnerabilidades com antecedência e fazer escolhas de design que reduzam os riscos, adote uma abordagem de segurança incorporada ao design.
OGoogle Cloud oferece um pacote abrangente de ferramentas e serviços para ajudar você a implementar uma abordagem de segurança incorporada ao design:
- Gerenciamento de postura na nuvem: use o Security Command Center para identificar possíveis vulnerabilidades e configurações incorretas na infraestrutura de IA.
- Pontuações de exposição a ataques e caminhos de ataque: refine e use as pontuações de exposição a ataques e os caminhos de ataque gerados pelo Security Command Center.
- Google Threat Intelligence: mantenha-se informado sobre novas ameaças e técnicas de ataque que surgem para atingir sistemas de IA.
- Geração de registros e monitoramento: acompanhe o desempenho e a segurança dos seus sistemas de IA e detecte anomalias ou atividades suspeitas. Realize auditorias de segurança regulares para identificar e corrigir possíveis vulnerabilidades na infraestrutura e nos modelos de IA.
- Gestão de vulnerabilidades: implemente um processo de gestão de vulnerabilidades para rastrear e corrigir vulnerabilidades de segurança nos seus sistemas de IA.
Para mais informações, consulte Segurança por design no Google e Implementar segurança por design.
Proteger os dados e evitar perdas ou manuseio incorreto
Os dados são um ativo valioso e sensível que precisa ser mantido em segurança. A segurança de dados ajuda a manter a confiança do usuário, apoiar seus objetivos de negócio e atender aos requisitos de compliance.
Para ajudar a proteger seus dados, considere as recomendações a seguir.
Seguir os princípios de minimização de dados
Para garantir a privacidade dos dados, siga o princípio de minimização de dados. Para minimizar os dados, não colete, mantenha ou use dados que não sejam estritamente necessários para suas metas de negócios. Sempre que possível, use dados sintéticos ou totalmente anonimizados.
A coleta de dados pode ajudar a gerar insights e análises de negócios, mas é fundamental ter cuidado no processo de coleta de dados. Se você coletar informações de identificação pessoal (PII) sobre seu cliente, revelar informações sensíveis ou criar viés ou controvérsia, poderá criar modelos de ML enviesados.
Use os recursos do Google Cloud para melhorar a minimização de dados e a privacidade de dados em vários casos de uso:
- Para desidentificar seus dados e preservar a utilidade deles, aplique métodos de transformação, como pseudonimização, desidentificação e generalização, como agrupamento por classes. Para implementar esses métodos, use a Proteção de Dados Sensíveis.
- Para ajudar a proteger os recursos contra acesso ou manipulação prolongados, use os recursos do Cloud Storage para controlar os ciclos de vida dos dados.
Para práticas recomendadas sobre como implementar a criptografia de dados, consulte criptografia de dados em repouso e em trânsito no framework de arquitetura.
Monitorar a coleta, o armazenamento e a transformação de dados
Os dados de treinamento do seu aplicativo de IA representam os maiores riscos de introdução de viés e vazamento de dados. Para manter a conformidade e gerenciar dados em diferentes equipes, estabeleça uma camada de governança de dados para monitorar fluxos, transformações e acesso de dados. Manter registros de atividades de acesso e manipulação de dados. Os registros ajudam a auditar o acesso aos dados, detectar tentativas de acesso não autorizado e impedir o acesso indesejado.
Use os recursos do Google Cloud para implementar estratégias de governança de dados:
- Para estabelecer uma plataforma de governança de dados para toda a organização ou departamento, use o Knowledge Catalog.
Uma plataforma de governança de dados pode ajudar você a descobrir, gerenciar, monitorar e governar dados e artefatos de IA de maneira centralizada em todas as suas plataformas de dados. A
plataforma de governança de dados também fornece acesso a usuários confiáveis. É possível
realizar as seguintes tarefas com o Knowledge Catalog:
- Gerenciar a linhagem de dados. O BigQuery também pode fornecer linhagem no nível da coluna.
- Gerenciar verificações de qualidade de dados e perfis de dados.
- Gerenciar a descoberta, a exploração e o processamento de dados em diferentes data marts.
- Gerenciar metadados de atributos e artefatos de modelo.
- Crie um glossário empresarial para gerenciar metadados e estabelecer um vocabulário padronizado.
- Enriqueça os metadados com contexto usando aspectos e tipos de aspectos.
- Unifique a governança de dados no BigLake e em tabelas de formato aberto, como Iceberg e Delta.
- Crie uma malha de dados para descentralizar a propriedade dos dados entre proprietários de dados de diferentes equipes ou domínios. Essa prática segue os princípios de segurança de dados e pode ajudar a melhorar a acessibilidade dos dados e a eficiência operacional.
- Inspecione e envie resultados de dados sensíveis do BigQuery para o Knowledge Catalog.
- Para criar um lakehouse aberto e unificado que seja bem governado, integre seus data lakes e warehouses com serviços de metastore gerenciados, como o Dataproc Metastore e o catálogo do ambiente de execução do Lakehouse. Um lakehouse aberto usa formatos de tabela abertos que são compatíveis com diferentes mecanismos de tratamento de dados.
- Para programar o monitoramento de atributos e grupos de atributos, use o Feature Store da Plataforma de Agentes.
- Para verificar os conjuntos de dados da Agent Platform no nível da organização, da pasta ou do projeto, use a descoberta de dados sensíveis para a Agent Platform. Também é possível analisar os perfis de dados armazenados no BigQuery.
- Para capturar registros em tempo real e coletar métricas relacionadas a pipelines de dados, use o Cloud Logging e o Cloud Monitoring. Para coletar trilhas de auditoria de chamadas de API, use os Registros de auditoria do Cloud. Não registre PIIs ou dados confidenciais em experimentos ou em servidores de registro diferentes.
Implementar controles de acesso baseados em papéis com princípios de privilégio mínimo
Implemente controles de acesso baseados em papéis (RBAC) para atribuir diferentes níveis de acesso com base nos papéis dos usuários. Os usuários precisam ter apenas as permissões mínimas necessárias para realizar as atividades do papel. Atribua permissões com base no princípio de privilégio mínimo, para que os usuários tenham apenas o acesso necessário, como sem acesso, somente leitura ou gravação.
O RBAC com privilégio mínimo é importante para a segurança quando sua organização usa dados sensíveis que residem em data lakes, em Feature Stores ou em hiperparâmetros para treinamento de modelo. Essa prática ajuda a evitar o roubo de dados, preservar a integridade do modelo e limitar a área de superfície para acidentes ou ataques.
Para ajudar a implementar essas estratégias de acesso, use os seguintes recursos doGoogle Cloud :
Para implementar a granularidade de acesso, considere as seguintes opções:
- Mapeie os papéis do Identity and Access Management (IAM) de diferentes produtos para um usuário, grupo ou conta de serviço para permitir o acesso granular. Mapeie esses papéis com base nas necessidades do projeto, nos padrões de acesso ou nas tags.
- Defina políticas do IAM com condições para gerenciar o acesso granular aos dados, ao modelo e às configurações do modelo, como código, configurações de recursos e hiperparâmetros.
Conheça o acesso granular no nível do aplicativo, que ajuda a proteger dados sensíveis que você audita e compartilha fora da sua equipe.
- Cloud Storage: defina políticas do IAM em buckets e pastas gerenciadas.
- BigQuery: use papéis e permissões do IAM para conjuntos de dados e recursos dentro deles. Além disso, restrinja o acesso no nível da linha e da coluna no BigQuery.
Para limitar o acesso a determinados recursos, use as políticas de limite de acesso de principal (PAB). Também é possível usar o Privileged Access Manager para controlar a elevação temporária de privilégios no momento certo para determinados principais. Depois, você pode conferir os registros de auditoria dessa atividade do Privileged Access Manager.
Para restringir o acesso a recursos com base no endereço IP e nos atributos do dispositivo do usuário final, estenda as políticas de acesso do Identity-Aware Proxy (IAP).
Para criar padrões de acesso para diferentes grupos de usuários, use o controle de acesso da Agent Platform com o IAM para combinar os papéis predefinidos ou personalizados.
Para proteger as instâncias do Gemini Enterprise Agent Platform Workbench usando controles de acesso baseado no contexto, use o Access Context Manager e o Chrome Enterprise Premium. Com essa abordagem, o acesso é avaliado sempre que um usuário se autentica na instância.
Implementar medidas de segurança para movimentação de dados
Implemente perímetros seguros e outras medidas, como criptografia e restrições à movimentação de dados. Essas medidas ajudam a evitar a exfiltração e a perda de dados, que podem causar perdas financeiras, danos à reputação, responsabilidades legais e interrupção das operações comerciais.
Para ajudar a evitar a exfiltração e a perda de dados no Google Cloud, use uma combinação de ferramentas e serviços de segurança.
Para implementar a criptografia, considere o seguinte:
- Para ter mais controle sobre as chaves de criptografia, use chaves de criptografia gerenciadas pelo cliente (CMEKs) no Cloud Key Management Service. Quando você usa CMEKs, os seguintes serviços integrados a CMEK criptografam dados em repouso para você:
- Para ajudar a proteger seus dados no Cloud Storage, use a criptografia do lado do servidor para armazenar as CMEKs. Se você gerencia CMEKs nos seus próprios servidores, a criptografia do lado do servidor pode ajudar a proteger as CMEKs e os dados associados, mesmo que o sistema de armazenamento de CMEKs seja comprometido.
- Para criptografar dados em trânsito, use HTTPS em todas as chamadas de API para serviços de IA e ML. Para aplicar o HTTPS aos aplicativos e APIs, use balanceadores de carga HTTPS.
Para mais práticas recomendadas sobre como criptografar dados, consulte Criptografar dados em repouso e em trânsito no pilar de segurança do Well-Architected Framework.
Para implementar perímetros, considere o seguinte:
- Para criar um limite de segurança em torno dos recursos de IA e ML e evitar a exfiltração de dados da nuvem privada virtual (VPC), use o VPC Service Controls para definir um perímetro de serviço. Inclua seus recursos de IA e ML e dados sensíveis no perímetro. Para controlar o fluxo de dados, configure regras de entrada e saída para o perímetro.
- Para restringir o tráfego de entrada e saída para seus recursos de IA e ML, configure regras de firewall. Implemente políticas que neguem todo o tráfego por padrão e permitam explicitamente apenas o tráfego que atenda aos seus critérios. Para ver um exemplo de política, consulte Exemplo: negar todas as conexões externas, exceto para portas específicas.
Para implementar restrições à movimentação de dados, considere o seguinte:
- Para compartilhar dados e escalonar além dos limites de privacidade em um ambiente seguro, use o compartilhamento do BigQuery e as data clean rooms do BigQuery, que oferecem uma estrutura robusta de segurança e privacidade.
- Para compartilhar dados diretamente em destinos integrados de painéis de Business Intelligence, use a central de ações do Looker, que oferece um ambiente de nuvem seguro.
Proteção contra envenenamento de dados
O envenenamento de dados é um tipo de ataque cibernético em que os invasores injetam dados maliciosos em conjuntos de dados de treinamento para manipular o comportamento do modelo ou degradar o desempenho. Esse ataque cibernético pode ser uma ameaça séria aos sistemas de treinamento de ML. Para proteger a validade e a qualidade dos dados, mantenha práticas que os protejam. Essa abordagem é crucial para a consistência, confiabilidade e integridade do modelo.
Para rastrear comportamentos inconsistentes, transformações ou acessos inesperados aos seus dados, configure um sistema abrangente de monitoramento e alertas para pipelines de dados e de ML.
Os recursos doGoogle Cloud podem ajudar você a implementar mais proteções contra o envenenamento de dados:
Para validar a integridade de dados, considere o seguinte:
- Implemente verificações robustas de validação de dados antes de usar os dados para treinamento. Verifique os formatos, intervalos e distribuições de dados. É possível usar os recursos de qualidade de dados automática no Knowledge Catalog.
- Use a Proteção de Dados Sensíveis com o Model Armor para aproveitar os recursos abrangentes de prevenção contra perda de dados. Para mais informações, consulte Visão geral do Model Armor. A Proteção de Dados Sensíveis com o Model Armor permite descobrir, classificar e proteger dados sensíveis, como propriedade intelectual. Esses recursos podem ajudar a evitar a exposição não autorizada de dados sensíveis em interações com LLMs.
- Para detectar anomalias nos dados de treinamento que possam indicar envenenamento de dados, use a detecção de anomalias no BigQuery com métodos estatísticos ou modelos de ML.
Para se preparar para um treinamento robusto, faça o seguinte:
- Empregue métodos de conjunto para reduzir o impacto de pontos de dados corrompidos. Treine vários modelos em diferentes subconjuntos de dados com o ajuste de hiperparâmetros.
- Use técnicas de aumento de dados para equilibrar a distribuição de dados entre conjuntos de dados. Essa abordagem pode reduzir o impacto do envenenamento de dados e permite adicionar exemplos maliciosos.
Para incorporar a revisão humana para dados de treinamento ou saídas de modelo, faça o seguinte:
- Analise as métricas de avaliação do modelo para detectar possíveis vieses, anomalias ou comportamentos inesperados que possam indicar envenenamento de dados. Para mais detalhes, consulte Avaliação de modelos na Agent Platform.
- Aproveite o conhecimento do domínio para avaliar o modelo ou aplicativo e identificar padrões ou pontos de dados suspeitos que os métodos automatizados podem não detectar. Para mais detalhes, consulte Visão geral do serviço de avaliação de IA generativa.
Para práticas recomendadas sobre como criar plataformas de dados que se concentram na infraestrutura e na segurança de dados, consulte o princípio Implementar segurança por design no Well-Architected Framework.
Manter os pipelines de IA seguros e robustos contra adulterações
Seu código de IA e ML e os pipelines definidos por código são recursos essenciais. O código que não é seguro pode ser adulterado, o que pode levar a vazamentos de dados, falha de conformidade e interrupção de atividades comerciais críticas. Manter o código de IA e ML seguro ajuda a garantir a integridade e o valor dos modelos e das saídas do modelo.
Para manter o código e os pipelines de IA seguros, considere as recomendações a seguir.
Usar práticas de programação seguras
Para evitar vulnerabilidades, use práticas de codificação seguras ao desenvolver seus modelos. Recomendamos que você implemente a validação de entrada e saída específica para IA, gerencie todas as dependências de software e incorpore princípios de programação segura ao seu desenvolvimento de forma consistente. Incorpore a segurança em todas as etapas do ciclo de vida da IA, desde o pré-processamento de dados até o código final do aplicativo.
Para implementar uma validação rigorosa, considere o seguinte:
Para evitar a manipulação de modelos ou explorações do sistema, valide e limpe as entradas e saídas no código.
- Use o Model Armor ou LLMs ajustados para analisar automaticamente comandos e respostas em busca de riscos comuns.
- Implemente a validação de dados nos scripts de ingestão e pré-processamento de dados para tipos, formatos e intervalos de dados. Para pipelines da Gemini Enterprise Agent Platform ou do BigQuery, use o Python para implementar essa validação de dados.
- Use agentes de LLM de assistência de programação, como o CodeMender, para melhorar a segurança do código. Mantenha um modelo com intervenção humana (human in the loop) para validar as mudanças propostas.
Para gerenciar e proteger os endpoints de API do modelo de IA, use a Apigee, que inclui recursos configuráveis, como validação de solicitações, controle de tráfego e autenticação.
Para ajudar a mitigar riscos em todo o ciclo de vida da IA, use a Proteção de IA para fazer o seguinte:
- Descubra o inventário de IA no seu ambiente.
- Avaliar o inventário em busca de possíveis vulnerabilidades.
- Proteja os recursos de IA com controles, políticas e proteções.
- Gerencie sistemas de IA com recursos de detecção, investigação e resposta.
Para proteger as dependências de código e artefato no pipeline de CI/CD, considere o seguinte:
- Para lidar com os riscos que as dependências de bibliotecas de código aberto podem introduzir no seu projeto, use o Artifact Analysis com o Artifact Registry para detectar vulnerabilidades conhecidas. Use e mantenha as versões aprovadas das bibliotecas. Armazene seus pacotes de ML personalizados e dependências verificadas em um repositório particular do Artifact Registry.
- Para incorporar a verificação de dependências aos pipelines de MLOps do Cloud Build, use a autorização binária. Aplique políticas que permitam implantações somente se as imagens de contêiner do código passarem nas verificações de segurança.
- Para receber informações de segurança sobre sua cadeia de suprimentos de software, use os painéis no console do Google Cloud que fornecem detalhes sobre origens, builds, artefatos, implantações e ambientes de execução. Essas informações incluem vulnerabilidades em artefatos de build, procedência do build e listas de dependências de lista de materiais de software (SBOM, na sigla em inglês).
- Para avaliar o nível de maturidade da segurança da cadeia de suprimentos de software, use o framework de níveis da cadeia de suprimentos para artefatos de software (SLSA, na sigla em inglês).
Para incorporar de forma consistente os princípios de programação segura em todas as etapas do desenvolvimento, considere o seguinte:
- Para evitar a exposição de dados sensíveis de interações de modelos, use o Logging com a Proteção de Dados Sensíveis. Ao usar esses produtos juntos, é possível controlar quais dados os aplicativos de IA e os componentes de pipeline registram e ocultar dados sensíveis.
- Para implementar o princípio de privilégio mínimo, verifique se as contas de serviço usadas para os jobs personalizados, pipelines e modelos implantados da plataforma de agentes têm apenas as permissões mínimas necessárias do IAM. Para mais informações, consulte Implementar controles de acesso baseados em papéis com princípios de privilégio mínimo.
- Para ajudar a proteger seus pipelines e artefatos de build, entenda as configurações de segurança (VPC e VPC Service Controls) no ambiente em que o código é executado.
Proteger pipelines e artefatos de modelo contra acesso não autorizado
Os artefatos e pipelines do modelo são propriedade intelectual, e os dados de treinamento deles também contêm informações reservadas. Para proteger pesos, arquivos e configurações de implantação de modelos contra adulterações e vulnerabilidades, armazene e acesse esses artefatos com segurança aprimorada. Implemente diferentes níveis de acesso para cada artefato com base nas funções e necessidades do usuário.
Para proteger os artefatos do modelo, considere o seguinte:
- Para proteger artefatos de modelo e outros arquivos sensíveis, criptografe-os com o Cloud KMS. Essa criptografia ajuda a proteger os dados em repouso e em trânsito, mesmo que o armazenamento subjacente seja comprometido.
- Para proteger o acesso aos seus arquivos, armazene-os no Cloud Storage e configure os controles de acesso.
- Para rastrear configurações incorretas ou inadequadas e qualquer desvio dos padrões definidos, use o Security Command Center para configurar posturas de segurança.
- Para ativar o controle de acesso refinado e a criptografia em repouso, armazene os artefatos do modelo no Model Registry na Gemini Enterprise Agent Platform. Para aumentar a segurança, crie uma assinatura digital para pacotes e contêineres produzidos durante os processos de build aprovados.
- Para aproveitar a segurança de nível empresarial do Google Cloud, use os modelos disponíveis no Model Garden. O Model Garden oferece modelos próprios do Google e modelos de terceiros de parceiros em destaque.
Para aplicar o gerenciamento centralizado a todos os ciclos de vida de usuários e grupos e aplicar o princípio de privilégio mínimo, use o IAM.
- Crie e use contas de serviço dedicadas com privilégio mínimo para seus pipelines de MLOps. Por exemplo, a conta de serviço de um pipeline de treinamento tem permissões para ler dados apenas de um bucket específico do Cloud Storage e gravar artefatos de modelo no Model Registry.
- Use as condições do IAM para aplicar o controle de acesso condicional baseado em atributos. Por exemplo, uma condição permite que uma conta de serviço acione um pipeline da Agent Platform somente se a solicitação for originada de um gatilho de build confiável do Cloud Build.
Para proteger os pipelines de implantação, considere o seguinte:
Para gerenciar as etapas de MLOps em serviços e recursos do Google Cloud , use os pipelines da plataforma de agentes, que podem ser integrados a outros serviços e fornecer controle de acesso de baixo nível. Ao executar novamente os pipelines, faça avaliações de explicabilidade (como atribuições de recursos) e verificações de IA responsável antes de implantar os artefatos do modelo. Essas verificações podem ajudar você a detectar ou evitar os seguintes problemas de segurança:
- Mudanças não autorizadas, que podem indicar adulteração do modelo.
- Scripting em vários sites (XSS), que pode indicar imagens de contêiner ou dependências comprometidas.
- Endpoints não seguros, que podem indicar uma infraestrutura de exibição configurada incorretamente.
Para ajudar a proteger as interações do modelo durante a inferência, use endpoints particulares baseados no Private Service Connect com contêineres pré-criados ou contêineres personalizados. Criar assinaturas de modelo com um esquema de entrada e saída predefinido.
Para automatizar o rastreamento de mudanças no código, use o Git para gerenciar o código-fonte e integre o controle de versões a pipelines de CI/CD robustos.
Para mais informações, consulte Framework de IA segura (SAIF).
Aplicar linhagem e rastreamento
Para ajudar a atender aos requisitos de compliance regulatório que você possa ter, aplique a linhagem e o rastreamento dos seus recursos de IA e ML. A linhagem e o rastreamento de dados fornecem registros de alterações extensos para dados, modelos e códigos. A proveniência do modelo oferece transparência e responsabilidade em todo o ciclo de vida de IA e ML.
Para aplicar a linhagem e o rastreamento de maneira eficaz no Google Cloud, considere as seguintes ferramentas e serviços:
- Para rastrear a linhagem de modelos, conjuntos de dados e artefatos que são criptografados automaticamente em repouso, use os metadados de ML da Agent Platform. Registrar metadados sobre fontes de dados, transformações, parâmetros de modelo e resultados de experimentos.
- Para rastrear a linhagem de artefatos de pipeline dos pipelines da Agent Platform e pesquisar recursos de modelo e conjunto de dados, use o Knowledge Catalog. Rastreie artefatos de pipeline individuais quando quiser realizar depuração, solução de problemas ou uma análise de causa raiz. Para rastrear todo o pipeline de MLOps, que inclui a linhagem de artefatos de pipeline, use os metadados de ML da Agent Platform. Os metadados de ML da Agent Platform também permitem analisar os recursos e as execuções. O Model Registry aplica e gerencia as versões de cada modelo armazenado.
- Para rastrear chamadas de API e ações administrativas, ative os registros de auditoria da Agent Platform. Analise os registros de auditoria com a Análise de Observabilidade para entender quem acessou ou modificou dados e modelos e quando. Também é possível rotear registros para destinos de terceiros.
Implantar em sistemas seguros com ferramentas e artefatos seguros
Garanta que seu código e seus modelos sejam executados em um ambiente seguro. Esse ambiente precisa ter um sistema de controle de acesso robusto e fornecer garantias de segurança para as ferramentas e os artefatos que você implanta.
Para implantar seu código em sistemas seguros, considere as recomendações a seguir.
Treinar e implantar modelos em um ambiente seguro
Para manter a integridade, a confidencialidade e a disponibilidade dos sistemas de IA e ML, implemente controles de acesso rigorosos que impeçam a manipulação não autorizada de recursos. Essa defesa ajuda você a:
- Mitigar a adulteração de modelos que pode produzir resultados inesperados ou conflitantes.
- Proteja seus dados de treinamento contra violações de privacidade.
- Manter o tempo de atividade do serviço.
- Manter a conformidade regulamentar.
- Conquiste a confiança dos usuários.
Para treinar seus modelos de ML em um ambiente com segurança aprimorada, use serviços gerenciados no Google Cloud , como o Cloud Run, o Google Kubernetes Engine (GKE) e o serviço gerenciado para Apache Spark. Também é possível usar o treinamento sem servidor da Agent Platform.
Nesta seção, fornecemos recomendações para ajudar você a proteger ainda mais seu ambiente de treinamento e implantação.
Para ajudar a proteger seu ambiente e perímetros, considere o seguinte:
Ao implementar medidas de segurança, conforme descrito anteriormente, considere o seguinte:
- Para isolar ambientes de treinamento e limitar o acesso, use projetos ou VPCs dedicados para treinamento.
- Para proteger dados e códigos confidenciais durante a execução, use a VM protegida ou a computação confidencial para cargas de trabalho de treinamento.
- Para ajudar a proteger sua infraestrutura de rede e controlar o acesso aos modelos implantados, use VPCs, firewalls e perímetros de segurança.
Ao usar o treinamento gerenciado da Gemini Enterprise Agent Platform, você pode usar os seguintes métodos para ajudar a proteger sua infraestrutura de computação:
- Para treinar jobs personalizados que se comunicam de forma privada com outros serviços autorizados do Google Cloud e que não são expostos ao tráfego público, configure uma interface do Private Service Connect.
- Para aumentar a segurança de rede e reduzir a latência em comparação com o que você tem com um endereço IP público, use um endereço IP particular para se conectar aos jobs de treinamento. Para mais detalhes, consulte Usar um IP particular para treinamento personalizado.
Ao usar o GKE ou o Cloud Run para configurar um ambiente personalizado, considere as seguintes opções:
- Para proteger o cluster do GKE, use as políticas de rede, as políticas de segurança de pods e os controles de acesso adequados. Use imagens de contêiner confiáveis e verificadas para suas cargas de trabalho de treinamento. Para verificar vulnerabilidades em imagens de contêiner, use o Artifact Analysis.
- Para proteger seu ambiente contra escapes de contêiner e outros ataques, implemente medidas de segurança de ambiente de execução para o Cloud Run functions. Para proteger ainda mais seu ambiente, use o GKE Sandbox e o isolamento de cargas de trabalho.
- Para ajudar a proteger as cargas de trabalho do GKE, siga as práticas recomendadas na visão geral de segurança do GKE.
- Para ajudar a atender aos requisitos de segurança no Cloud Run, consulte a visão geral do design de segurança.
Ao usar o Serviço Gerenciado para Apache Spark para treinamento de modelo, siga as práticas recomendadas de segurança do Serviço Gerenciado para Apache Spark.
Para proteger sua implantação, considere o seguinte:
- Ao implantar modelos, use o Model Registry. Se você implantar modelos em contêineres, use o GKE Sandbox e o Container-Optimized OS para melhorar a segurança e isolar as cargas de trabalho. Restrinja o acesso aos modelos do Model Garden de acordo com as funções e responsabilidades do usuário.
- Para ajudar a proteger as APIs de modelo, use a Apigee ou o gateway de API. Para evitar abusos, implemente chaves de API, autenticação, autorização e limitação de taxa. Para controlar o acesso às APIs de modelo, use chaves de API e mecanismos de autenticação.
- Para ajudar a proteger o acesso aos modelos durante a previsão, use a Inferência da Gemini Enterprise Agent Platform. Para evitar a exfiltração de dados, use os perímetros do VPC Service Controls para proteger endpoints privados e controlar o acesso aos modelos subjacentes. Use endpoints particulares para permitir o acesso aos modelos em uma rede VPC. O IAM não é aplicado diretamente ao endpoint privado, mas o serviço de destino usa o IAM para gerenciar o acesso aos modelos. Para previsão on-line, recomendamos o uso do Private Service Connect.
- Para rastrear chamadas de API relacionadas à implantação de modelos, ative os Registros de auditoria do Cloud para a Agent Platform. As chamadas de API relevantes incluem atividades como criação de endpoints, implantação de modelos e atualizações de configuração.
- Para estender a infraestrutura do Google Cloud para locais de borda, considere as soluções do Google Distributed Cloud. Para uma solução totalmente desconectada, use o Distributed Cloud com isolamento físico, que não requer conectividade com o Google Cloud.
- Para ajudar a padronizar as implantações e garantir a conformidade com as necessidades regulatórias e de segurança, use o Assured Workloads.
Seguir as diretrizes de SLSA para artefatos de IA
Siga as diretrizes padrão de Níveis da cadeia de suprimentos para artefatos de software (SLSA) para seus artefatos específicos de IA, como modelos e pacotes de software.
O SLSA é um framework de segurança projetado para ajudar você a melhorar a integridade dos artefatos de software e evitar adulterações. Ao seguir as diretrizes do SLSA, é possível melhorar a segurança do pipeline de IA e ML e dos artefatos que ele produz. A adesão ao SLSA pode oferecer os seguintes benefícios:
- Maior confiança nos artefatos de IA e ML: o SLSA ajuda a garantir que não ocorra adulteração nos modelos e pacotes de software. Os usuários também podem rastrear modelos e pacotes de software até a origem, o que aumenta a confiança na integridade e confiabilidade dos artefatos.
- Redução do risco de ataques à cadeia de suprimentos: o SLSA ajuda a reduzir o risco de ataques que exploram vulnerabilidades na cadeia de suprimentos de software, como ataques que injetam código malicioso ou que comprometem os processos de build.
- Postura de segurança aprimorada: o SLSA ajuda a fortalecer a postura de segurança geral dos seus sistemas de IA e ML. Essa implementação pode ajudar a reduzir o risco de ataques e proteger seus ativos valiosos.
Para implementar o SLSA para seus artefatos de IA e ML no Google Cloud, faça o seguinte:
- Entenda os níveis de SLSA: conheça os diferentes níveis de SLSA e os requisitos deles. À medida que os níveis aumentam, a integridade que eles fornecem também aumenta.
- Avalie seu nível atual: avalie suas práticas atuais em relação ao framework do SLSA para determinar seu nível atual e identificar áreas de melhoria.
- Defina o nível desejado: determine o nível de SLSA adequado com base na sua tolerância a riscos, nos requisitos de segurança e na importância dos seus sistemas de IA e ML.
Implementar os requisitos do SLSA: para atingir o nível desejado do SLSA, implemente os controles e as práticas necessários, que podem incluir o seguinte:
- Controle de origem: use um sistema de controle de versões, como o Git, para monitorar as mudanças no código e nas configurações.
- Processo de build: use um serviço que ajude a proteger seus builds, como o Cloud Build, e garanta que o processo de build seja programado ou automatizado.
- Geração de procedência: gere metadados de procedência que capturam detalhes sobre como os artefatos foram criados, incluindo o processo de build, o código-fonte e as dependências. Para mais detalhes, consulte Metadados de rastreamento e Rastrear execuções e artefatos.
- Assinatura de artefatos: assine seus artefatos para verificar a autenticidade e a integridade deles.
- Gestão de vulnerabilidades: verifique regularmente se há vulnerabilidades nos artefatos e nas dependências. Use ferramentas como o Artifact Analysis.
- Segurança da implantação: implemente práticas de implantação que ajudem a proteger seus sistemas, como as descritas neste documento.
Melhoria contínua: monitore e melhore sua implementação do SLSA para lidar com novas ameaças e vulnerabilidades e busque níveis mais altos do SLSA.
Usar imagens de contêiner pré-criadas e validadas
Para evitar um único ponto de falha nos estágios de MLOps, isole as tarefas que exigem gerenciamento de dependências diferente em contêineres diferentes. Por exemplo, use contêineres separados para engenharia de atributos, treinamento ou ajuste e tarefas de inferência. Essa abordagem também dá aos engenheiros de ML a flexibilidade de controlar e personalizar o ambiente.
Para promover a consistência de MLOps em toda a organização, use contêineres pré-criados. Mantenha um repositório central de imagens de plataforma base verificadas e confiáveis com as seguintes práticas recomendadas:
- Mantenha uma equipe de plataforma centralizada na sua organização que crie e gerencie contêineres de base padronizados.
- Estenda as imagens de contêiner pré-criadas que a Agent Platform fornece especificamente para IA e ML. Gerencie as imagens do contêiner em um repositório central na sua organização.
A Agent Platform oferece uma variedade de contêineres pré-criados para treinamento e inferência, além de permitir o uso de contêineres personalizados. Para modelos menores, é possível reduzir a latência de inferência se você carregar modelos em contêineres.
Para melhorar a segurança do gerenciamento de contêineres, considere as seguintes recomendações:
- Use o Artifact Registry para criar, armazenar e gerenciar repositórios de imagens de contêiner com diferentes formatos. O Artifact Registry lida com o controle de acesso com o IAM e tem recursos integrados de observabilidade e avaliação de vulnerabilidades. O Artifact Registry permite ativar recursos de segurança de contêiner, verificar imagens de contêiner e investigar vulnerabilidades.
- Execute etapas de integração contínua e crie imagens de contêiner com o Cloud Build. Problemas de dependência podem ser destacados nesta etapa. Se você quiser implantar apenas as imagens criadas pelo Cloud Build, use a autorização binária. Para ajudar a evitar ataques à cadeia de suprimentos, implante as imagens criadas pelo Cloud Build no Artifact Registry. Integre ferramentas de teste automatizadas, como SonarQube, PyLint ou OWASP ZAP.
- Use uma plataforma de contêiner, como o GKE ou o Cloud Run, que são otimizadas para GPU ou Cloud TPU para cargas de trabalho de IA e ML. Considere as opções de verificação de vulnerabilidades para contêineres em clusters do GKE.
Considerar a Computação Confidencial para GPUs
Para proteger dados em uso, use a Computação Confidencial. As medidas de segurança convencionais protegem os dados em repouso e em trânsito, mas a Computação Confidencial criptografa os dados durante o processamento. Ao usar a Computação confidencial para GPUs, você ajuda a proteger dados de treinamento sensíveis e parâmetros de modelo contra acesso não autorizado. Também é possível ajudar a evitar o acesso não autorizado de usuários privilegiados da nuvem ou de possíveis invasores que possam acessar a infraestrutura subjacente.
Para determinar se você precisa da Computação Confidencial para GPUs, considere a sensibilidade dos dados, os requisitos regulatórios e os riscos em potencial.
Se você configurar a Computação Confidencial, considere as seguintes opções:
- Para cargas de trabalho de IA de uso geral e ML, use instâncias de VM confidenciais com GPUs NVIDIA T4. Essas instâncias de VM oferecem criptografia baseada em hardware de dados em uso.
- Para cargas de trabalho conteinerizadas, use os Nós confidenciais do Google Kubernetes Engine. Esses nós fornecem um ambiente seguro e isolado para os pods.
- Para garantir que sua carga de trabalho esteja sendo executada em um enclave genuíno e seguro, verifique os relatórios de atestado fornecidos pela VM confidencial.
- Para acompanhar o desempenho, a utilização de recursos e as ocorrências de segurança, monitore os recursos da Computação Confidencial e os Confidential GKE Nodes usando o Monitoring e o Logging.
Verificar e proteger entradas
Trate todas as entradas dos seus sistemas de IA como não confiáveis, sejam elas de usuários finais ou de outros sistemas automatizados. Para ajudar a manter seus sistemas de IA seguros e garantir que eles funcionem conforme o esperado, é preciso detectar e limpar possíveis vetores de ataque com antecedência.
Para verificar e proteger suas entradas, considere as recomendações a seguir.
Implementar práticas que ajudam a proteger sistemas de IA generativa
Trate os comandos como um componente de aplicativo essencial que tem a mesma importância para a segurança que o código. Implemente uma estratégia de defesa em profundidade que combine design proativo, triagem automatizada e gerenciamento disciplinado do ciclo de vida.
Para ajudar a proteger seus comandos de IA generativa, é preciso projetá-los para segurança, fazer uma triagem antes do uso e gerenciá-los durante todo o ciclo de vida.
Para melhorar a segurança do design e da engenharia de comandos, considere as seguintes práticas:
- Estruture os comandos para fins de esclarecimento: projete e teste todos os comandos usando os recursos de gerenciamento de comandos do Agent Studio na Gemini Enterprise Agent Platform. Os comandos precisam ter uma estrutura clara e sem ambiguidade. Defina um papel, inclua exemplos few-shot e dê instruções específicas e limitadas. Esses métodos reduzem o risco de o modelo interpretar incorretamente a entrada de um usuário de uma forma que crie uma brecha de segurança.
Teste as entradas para garantir robustez e embasamento: teste todos os seus sistemas de forma proativa contra entradas inesperadas, malformadas e mal-intencionadas para evitar falhas ou saídas não seguras. Use testes de equipe vermelha para simular ataques reais. Como uma etapa padrão nos pipelines da Agent Platform, automatize os testes de robustez. Você pode usar as seguintes técnicas de teste:
- Teste de fuzzing.
- Teste diretamente contra PII, entradas sensíveis e injeções de SQL.
- Verifique entradas multimodais que podem conter malware ou violar políticas de comandos.
Implemente uma defesa em camadas: use várias defesas e nunca dependa de uma única medida defensiva. Por exemplo, para um aplicativo baseado em geração aumentada por recuperação (RAG), use um LLM separado para classificar a intenção do usuário recebida e verificar se há padrões mal-intencionados. Em seguida, esse LLM pode transmitir a solicitação para o LLM principal mais potente, que gera a resposta final.
Remover e validar entradas: antes de incorporar entradas externas ou fornecidas pelo usuário em um comando, filtre e valide todas as entradas no código do aplicativo. Essa validação é importante para ajudar a evitar a injeção de comandos indiretos.
Para a triagem automatizada de comandos e respostas, considere as seguintes práticas:
- Use serviços de segurança abrangentes: implemente um serviço de segurança dedicado e independente de modelo, como o Model Armor, como uma camada de proteção obrigatória para seus LLMs. O Model Armor inspeciona comandos e respostas em busca de ameaças, como injeção de comandos, tentativas de jailbreak e conteúdo nocivo. Para garantir que seus modelos não vazem dados de treinamento sensíveis ou propriedade intelectual nas respostas, use a integração da Proteção de Dados Sensíveis com o Model Armor. Para mais detalhes, consulte Filtros do Model Armor.
- Monitorar e registrar interações: mantenha registros detalhados de todos os comandos e respostas dos endpoints do modelo. Use o Logging para auditar essas interações, identificar padrões de uso indevido e detectar vetores de ataque que possam surgir contra os modelos implantados.
Para proteger o gerenciamento do ciclo de vida do comando, considere as seguintes práticas:
- Implemente o controle de versões para comandos: trate todos os comandos de produção como código do aplicativo. Use um sistema de controle de versões, como o Git, para criar um histórico completo de mudanças, aplicar padrões de colaboração e permitir reversões para versões anteriores. Essa prática essencial de MLOps pode ajudar você a manter sistemas de IA estáveis e seguros.
- Centralizar o gerenciamento de comandos: use um repositório central para armazenar, gerenciar e implantar todos os comandos com controle de versões. Essa estratégia garante consistência entre os ambientes e permite atualizações de ambiente de execução sem a necessidade de uma reimplantação completa do aplicativo.
- Realize auditorias regulares e testes de equipe vermelha: teste as defesas do seu sistema continuamente contra vulnerabilidades conhecidas, como as listadas no OWASP Top 10 para aplicativos de LLM. Como engenheiro de IA, você precisa ser proativo e testar seu próprio aplicativo com uma equipe vermelha para descobrir e corrigir pontos fracos antes que um invasor possa explorá-los.
Evite consultas maliciosas aos seus sistemas de IA
Além da autenticação e da autorização, que foram discutidas anteriormente neste documento, você pode tomar outras medidas para ajudar a proteger seus sistemas de IA contra entradas maliciosas. É preciso preparar seus sistemas de IA para cenários pós-autenticação, em que os invasores ignoram os protocolos de autenticação e autorização e tentam atacar o sistema internamente.
Para implementar uma estratégia abrangente que possa ajudar a proteger seu sistema contra ataques pós-autenticação, aplique os seguintes requisitos:
Camadas de rede e aplicativo seguras: estabeleça uma defesa em várias camadas para todos os seus recursos de IA.
- Para criar um perímetro de segurança que evite a exfiltração de dados de modelos do Model Registry ou de dados confidenciais do BigQuery, use o VPC Service Controls. Sempre use o modo de teste para validar o impacto de um perímetro antes de aplicá-lo.
- Para ajudar a proteger ferramentas baseadas na Web, como notebooks, use o IAP.
- Para ajudar a proteger todos os endpoints de inferência, use a Apigee para segurança e governança de nível empresarial. Também é possível usar o gateway de API para autenticação simples.
Fique de olho em anomalias no padrão de consulta: por exemplo, um invasor que sonda um sistema em busca de vulnerabilidades pode enviar milhares de consultas sequenciais ligeiramente diferentes. Sinalize padrões de consulta anormais que não refletem o comportamento normal do usuário.
Monitore o volume de solicitações: um aumento repentino no volume de consultas indica fortemente um ataque de negação de serviço (DoS) ou um ataque de roubo de modelo, que é uma tentativa de fazer engenharia reversa do modelo. Use a limitação de taxa e a limitação para controlar o volume de solicitações de um único endereço IP ou usuário.
Monitore e defina alertas para anomalias geográficas e temporais: estabeleça um valor de referência para padrões de acesso normais. Gere alertas para atividades repentinas em localizações geográficas incomuns ou em horários estranhos. Por exemplo, um pico enorme de logins de um novo país às 3h.
Monitorar, avaliar e se preparar para responder aos resultados
Os sistemas de IA agregam valor porque produzem resultados que aumentam, otimizam ou automatizam a tomada de decisões humana. Para manter a integridade e a confiabilidade dos seus sistemas e aplicativos de IA, garanta que as saídas sejam seguras e estejam dentro dos parâmetros esperados. Você também precisa de um plano para responder a incidentes.
Para manter as saídas, considere as recomendações a seguir.
Avaliar o desempenho do modelo com métricas e medidas de segurança
Para garantir que seus modelos de IA atendam aos comparativos de desempenho, aos requisitos de segurança e aos padrões de imparcialidade e conformidade, avalie-os minuciosamente. Faça avaliações antes da implantação e continue avaliando os modelos em produção regularmente. Para minimizar riscos e criar sistemas de IA confiáveis, implemente uma estratégia de avaliação abrangente que combine métricas de performance com avaliações de segurança de IA específicas.
Para avaliar a robustez do modelo e a postura de segurança, considere as seguintes recomendações:
Implementar a assinatura e a verificação de modelos no pipeline de MLOps.
- Para modelos em contêineres, use a autorização binária para verificar as assinaturas.
- Para modelos implantados diretamente nos endpoints da Agent Platform, use verificações personalizadas nos scripts de implantação para verificação.
- Para qualquer modelo, use o Cloud Build para assinar o modelo.
Avalie a resiliência do modelo a entradas inesperadas ou adversas.
- Para todos os seus modelos, teste o modelo para detectar corrupções de dados comuns e modificações de dados potencialmente maliciosas. Para orquestrar esses testes, use o Agent Platform Managed Training ou o Agent Platform Pipelines.
- Para modelos críticos de segurança, realize simulações de ataques adversários para entender as possíveis vulnerabilidades.
- Para modelos implantados em contêineres, use o Artifact Analysis no Artifact Registry para verificar se há vulnerabilidades nas imagens de base.
Usar o Model Monitoring na Gemini Enterprise Agent Platform para detectar desvios e distorções em modelos implantados. Em seguida, use esses insights nos ciclos de reavaliação ou retreinamento.
Use as avaliações de modelo da Agent Platform como um componente de pipeline com o Agent Platform Pipelines. É possível executar o componente de avaliação de modelo sozinho ou com outros componentes do pipeline. Compare as versões do modelo com as métricas e os conjuntos de dados definidos. Registrar os resultados da avaliação nos metadados de ML da Agent Platform para linhagem e rastreamento.
Use ou desenvolva com base no serviço de avaliação de IA generativa para avaliar os modelos escolhidos ou implementar fluxos de trabalho personalizados de avaliação humana.
Para avaliar a imparcialidade, o viés, a explicabilidade e a veracidade, considere as seguintes recomendações:
- Defina medidas de imparcialidade que correspondam aos seus casos de uso e avalie os modelos para identificar possíveis vieses em diferentes fatias de dados.
- Entenda quais atributos impulsionam as previsões do modelo para garantir que eles e as previsões resultantes estejam alinhados com o conhecimento do domínio e as diretrizes éticas.
- Use técnicas de explicabilidade para receber atribuições de recursos para seus modelos.
- Use o serviço de avaliação de IA generativa para calcular métricas. Durante a fase de verificação da fonte, a métrica de embasamento do serviço verifica a veracidade em relação ao texto de origem fornecido.
- Ative o embasamento para a saída do modelo para facilitar uma segunda camada de verificação de origem no nível do usuário.
- Revise nossos princípios de IA e adapte-os para seus aplicativos de IA.
Monitorar as saídas de modelos de IA e ML em produção
Monitore continuamente seus modelos de IA e ML e a infraestrutura de suporte em produção. É importante identificar e diagnosticar prontamente as degradações na qualidade ou no desempenho da saída do modelo, as vulnerabilidades de segurança que surgem e os desvios dos mandatos de conformidade. Esse monitoramento ajuda a manter a segurança, a confiabilidade e a integridade do sistema.
Para monitorar as saídas do sistema de IA em busca de anomalias, ameaças e degradação de qualidade, considere as seguintes recomendações:
- Use o Monitoramento de Modelos na Agent Platform para que as saídas do modelo rastreiem mudanças inesperadas nas distribuições de previsão ou picos em previsões de modelo de baixa confiança. Monitore ativamente as saídas do modelo de IA generativa para detectar conteúdo gerado que seja inseguro, tendencioso, fora do tópico ou malicioso. Também é possível usar o Model Armor para analisar todas as saídas do modelo.
- Identificar padrões de erro específicos, capturar indicadores de qualidade ou detectar saídas nocivas ou não conformes no nível do aplicativo. Para encontrar esses problemas, use o monitoramento personalizado nos painéis do Monitoring e as métricas com base em registros do Logging.
Para monitorar as saídas em busca de sinais específicos de segurança e mudanças não autorizadas, considere as seguintes recomendações:
- Identifique tentativas de acesso não autorizado a modelos de IA, conjuntos de dados no Cloud Storage ou no BigQuery ou componentes de pipeline de MLOps. Em particular, identifique mudanças inesperadas ou não autorizadas nas permissões do IAM para recursos de IA. Para rastrear essas atividades e analisá-las em busca de padrões suspeitos, use os registros de auditoria de atividades do administrador e de auditoria de acesso a dados nos Registros de auditoria do Cloud. Integre as descobertas do Security Command Center, que pode sinalizar configurações incorretas de segurança e possíveis ameaças relevantes para seus recursos de IA.
- Monitore as saídas para identificar volumes altos de solicitações ou solicitações de fontes suspeitas, o que pode indicar tentativas de fazer engenharia reversa de modelos ou exfiltrar dados. Também é possível usar a Proteção de Dados Sensíveis para monitorar a exfiltração de dados potencialmente sensíveis.
- Integre registros às suas operações de segurança. Use o Google Security Operations para detectar, orquestrar e responder a ameaças cibernéticas dos seus sistemas de IA.
Para acompanhar a integridade operacional e o desempenho da infraestrutura que atende aos seus modelos de IA, considere as seguintes recomendações:
- Identificar problemas operacionais que podem afetar a entrega do serviço ou o desempenho do modelo.
- Monitorar os endpoints da Agent Platform para latência, taxas de erro e padrões de tráfego.
- Monitorar pipelines de MLOps para verificar o status de execução e erros.
- Use o Monitoring, que fornece métricas prontas. Também é possível criar painéis personalizados para identificar problemas como interrupções de endpoints ou falhas de pipeline.
Implementar procedimentos de alerta e resposta a incidentes
Ao identificar possíveis problemas de desempenho, segurança ou conformidade, uma resposta eficaz é fundamental. Para garantir notificações oportunas às equipes apropriadas, implemente mecanismos de alerta robustos. Estabeleça e operacionalize procedimentos abrangentes de resposta a incidentes com reconhecimento de IA para gerenciar, conter e corrigir esses problemas de maneira eficiente.
Para estabelecer mecanismos de alerta robustos para problemas de IA identificados, considere as seguintes recomendações:
- Configure alertas acionáveis para notificar as equipes relevantes, com base nas atividades de monitoramento da sua plataforma. Por exemplo, configure alertas para serem acionados quando o Monitoramento de Modelos na Agent Platform detectar anomalias significativas de desvio, distorção ou previsão. Ou configure alertas para serem acionados quando o Model Armor ou as regras de monitoramento personalizadas sinalizarem entradas maliciosas ou saídas não seguras.
- Defina canais de notificação claros, que podem incluir Slack, e-mail ou SMS por meio de integrações do Pub/Sub. Personalize os canais de notificação para as gravidades dos alertas e as equipes responsáveis.
Desenvolver e operacionalizar um plano de resposta a incidentes que considere a IA. Um plano estruturado de resposta a incidentes é essencial para minimizar possíveis impactos e garantir a recuperação. Personalize esse plano para lidar com riscos específicos da IA, como adulteração de modelos, previsões incorretas devido a desvios, injeção de comandos ou saídas não seguras de modelos generativos. Para criar um plano eficaz, inclua as seguintes fases principais:
Preparação: identifique os recursos e as vulnerabilidades deles, desenvolva playbooks e garanta que suas equipes tenham os privilégios adequados. Essa fase inclui as seguintes tarefas:
- Identifique recursos críticos de IA, como modelos, conjuntos de dados e recursos específicos da Agent Platform, como endpoints ou instâncias do Feature Store.
- Identifique os possíveis modos de falha ou vetores de ataque dos recursos.
Desenvolva manuais específicos de IA para incidentes que correspondam ao modelo de ameaças da sua organização. Por exemplo, os playbooks podem incluir o seguinte:
- Uma reversão de modelo que usa o controle de versões no Model Registry.
- Um pipeline de retreinamento de emergência no treinamento gerenciado da Agent Platform.
- O isolamento de uma fonte de dados comprometida no BigQuery ou no Cloud Storage.
Use o IAM para garantir que as equipes de resposta tenham o acesso de privilégio mínimo necessário às ferramentas necessárias durante um incidente.
Identificação e triagem: use alertas configurados para detectar e validar possíveis incidentes. Estabeleça critérios e limites claros para como sua organização investiga ou declara um incidente relacionado à IA. Para investigação detalhada e coleta de evidências, use o Logging para registros de aplicativos e de serviços e os Registros de auditoria do Cloud para atividades administrativas e padrões de acesso a dados. As equipes de segurança podem usar o Google SecOps para análises mais detalhadas da telemetria de segurança.
Contenção: isole os sistemas ou componentes de IA afetados para evitar mais impactos ou exfiltração de dados. Essa fase pode incluir as seguintes tarefas:
- Desativar um endpoint problemático da Agent Platform.
- Revogar permissões específicas do IAM.
- Atualize as regras de firewall ou as políticas do Google Cloud Armor.
- Pausar um pipeline da Agent Platform que está se comportando de maneira inadequada.
Erradicação: identificar e remover a causa raiz do incidente. Essa fase pode incluir as seguintes tarefas:
- Corrija o código vulnerável em um contêiner de modelo personalizado.
- Remover os backdoors maliciosos identificados de um modelo.
- Limpe os dados corrompidos antes de iniciar um job de retreinamento seguro no treinamento gerenciado da plataforma de agentes.
- Atualize as configurações não seguras.
- Refine a lógica de validação de entrada para bloquear técnicas específicas de injeção de comandos.
Recuperação e reimplantação segura: restaure os sistemas de IA afetados para um estado operacional conhecido, bom e seguro. Essa fase pode incluir as seguintes tarefas:
- Implante uma versão de modelo validada e confiável do Model Registry.
- Encontre e aplique todos os patches de segurança para vulnerabilidades que possam estar presentes no código ou no sistema.
- Redefina as permissões do IAM para o princípio de privilégio mínimo.
Atividade pós-incidente e lições aprendidas: depois de resolver os incidentes significativos de IA, faça uma análise completa pós-incidente. Essa revisão envolve todas as equipes relevantes, como as de IA e ML, MLOps, segurança e ciência de dados. Entender o ciclo de vida completo do incidente. Use esses insights para refinar o design do sistema de IA, atualizar os controles de segurança, melhorar as configurações do Monitoring e aprimorar o plano e os playbooks de resposta a incidentes de IA.
Integrar a resposta a incidentes de IA com as estruturas organizacionais mais amplas, como o gerenciamento de incidentes de TI e segurança, para um esforço coordenado. Para alinhar sua resposta a incidentes específicos de IA com as estruturas organizacionais, considere o seguinte:
- Encaminhamento: defina caminhos claros para encaminhar incidentes de IA significativos para o SOC central, TI, jurídico ou unidades de negócios relevantes.
- Comunicação: use canais organizacionais estabelecidos para todos os relatórios e atualizações de incidentes internos e externos.
- Ferramentas e processos: use os sistemas empresariais de gerenciamento de incidentes e emissão de tíquetes para incidentes de IA para garantir o rastreamento e a visibilidade consistentes.
- Colaboração: defina protocolos de colaboração entre as equipes de IA e ML, MLOps, ciência de dados, segurança, jurídico e compliance para respostas eficazes a incidentes de IA.
Colaboradores
Autores:
- Kamilla Kurta | Engenheira de clientes especialista em IA generativa/ML
- Vidhi Jain | Engenheira de nuvem, análise e IA
- Mohamed Fawzi | Líder de segurança e compliance do Benelux
- Filipe Gracio, PhD | Engenheiro de clientes, especialista em IA/ML
Outros colaboradores:
- Lauren Anthony | Engenheiro de clientes, especialista em segurança
- Daniel Lees | Arquiteto de segurança do Cloud
- John Bacon | Arquiteto de soluções de parceiros
- Kumar Dhanagopal | Desenvolvedor de soluções para vários produtos
- Marwan Al Shawi | Engenheiro de clientes do parceiro
- Mónica Carranza | Analista sênior de ameaças de IA generativa
- Tarun Sharma | Arquiteto principal
- Wade Holmes | Diretor de soluções globais