A Proteção para IA ajuda a gerenciar a postura de segurança das cargas de trabalho de IA no ambiente do Google Cloud . Você pode usá-lo para ter visibilidade do seu inventário de IA, detectar ameaças e mitigar riscos aos seus sistemas de IA.
A Proteção para IA está disponível com ativações no nível da organização e para envolvidos no projeto do Security Command Center. Com base no escopo de ativação, o painel Segurança de IA no console do Google Cloud mostra dados agregados de todos os projetos e recursos ou dados do projeto selecionado.
Recursos da Proteção para IA
A Proteção para IA ajuda a gerenciar ameaças e riscos aos componentes nos seus sistemas de IA. O nível de serviço determina os recursos disponíveis, que incluem:
- Avalie seu inventário de recursos de IA: entenda seus sistemas e recursos de IA.
- Identificar vulnerabilidades (níveis de serviço Premium e Enterprise (descontinuado)): identifique vulnerabilidades de software (CVEs) e secrets de texto simples em cargas de trabalho agênticas implantadas com o Agent Runtime.
- Identificar riscos (níveis de serviço Premium e Enterprise (descontinuado)): identificar riscos e o impacto deles no ecossistema com base na simulação de caminho de ataque e nas regras predefinidas do gráfico de segurança, com agentes e servidores MCP como recursos de alto valor.
- Detectar agentes com privilégios excessivos: detecte agentes do Agent Runtime que receberam permissões excessivas.
- Gerenciar compliance: verifique proativamente se os recursos de IA nas suas implantações estão em conformidade com os padrões de segurança relevantes. O nível de serviço Standard inclui descobertas de segurança básicas com o Security Essentials, enquanto os níveis de serviço Premium e Enterprise incluem conformidade avançada com frameworks.
- Detectar e gerenciar ameaças: detecte e responda a possíveis ameaças aos seus sistemas e recursos de IA em tempo hábil.
Casos de uso da proteção para IA
A Proteção de IA ajuda as organizações a melhorar a segurança identificando e mitigando ameaças e riscos relacionados a sistemas de IA e dados sensíveis. Os casos de uso a seguir são exemplos de como a proteção para IA pode ser usada em diferentes organizações:
Instituição de serviços financeiros: dados financeiros de clientes
Uma grande instituição de serviços financeiros usa modelos de IA que processam dados financeiros sensíveis.
- Desafio: o processamento de dados financeiros altamente sensíveis com modelos de IA envolve vários riscos, incluindo o risco de violações de dados, exfiltração de dados durante o treinamento ou a inferência e vulnerabilidades na infraestrutura de IA subjacente.
- Caso de uso: a Proteção de IA monitora continuamente os fluxos de trabalho de IA em busca de atividades suspeitas, detecta acesso não autorizado a dados e comportamento anômalo de modelos, realiza a classificação de dados sensíveis e ajuda a melhorar a conformidade com regulamentações como PCI DSS e GDPR.
Provedor de serviços de saúde: privacidade e compliance do paciente
Um grande prestador de cuidados de saúde gerencia históricos de saúde eletrônicos e usa IA para diagnósticos e planejamento de tratamento, lidando com informações protegidas de saúde (PHI).
- Desafio: as PHI analisadas por modelos de IA estão sujeitas a regulamentações rigorosas, como a HIPAA. Os riscos incluem a exposição acidental de PHI por erros de configuração ou ataques mal-intencionados que visam sistemas de IA para dados de pacientes.
- Caso de uso: a Proteção de IA identifica e alerta sobre possíveis violações da HIPAA, detecta acesso não autorizado a PHI por modelos ou usuários, sinaliza serviços de IA vulneráveis e com possíveis configurações incorretas e monitora o vazamento de dados.
Empresa de manufatura e robótica: propriedade intelectual reservada
Uma empresa de manufatura especializada em robótica avançada e automação depende muito da IA para otimizar as linhas de produção e o controle robótico, com propriedade intelectual (PI) vital incorporada aos algoritmos de IA e aos dados de manufatura.
- Desafio: algoritmos de IA reservados e dados operacionais sensíveis são vulneráveis a roubo por pessoas internas com informações privilegiadas ou adversários externos, o que pode levar a desvantagens competitivas ou interrupções operacionais.
- Caso de uso: a Proteção de IA monitora o acesso não autorizado a modelos de IA e repositórios de código, detecta tentativas de exfiltrar modelos treinados e padrões incomuns de acesso a dados e sinaliza vulnerabilidades em ambientes de desenvolvimento de IA para evitar o roubo de IP.
Serviços de detecção na Proteção para IA
A seção a seguir descreve as regras e os serviços de detecção que criam descobertas quando você ativa a Proteção de IA. O nível de serviço do Security Command Center e o escopo de ativação (no nível da organização ou do projeto) determinam quais serviços de detecção são compatíveis com o Security Command Center e as descobertas criadas. O Security Command Center ativa automaticamente alguns serviços de detecção, mas é necessário configurar outros manualmente. Para mais informações, consulte Configurar a proteção para IA.
Serviço AI Discovery
Esse é um serviço integrado que usa dados do Cloud Monitoring para descobrir modelos de IA e determinar se o Model Armor protege os modelos. No nível de serviço Standard, o AI Discovery não oferece suporte à detecção de modelos do Gemini.
Para informações sobre as descobertas que esse serviço cria, consulte Descobertas do serviço AI Discovery.
Frameworks do Compliance Manager
A Proteção para IA usa frameworks do Compliance Manager que o Security Command Center implanta automaticamente no modo de detecção.
Frameworks integrados do Compliance Manager
A Proteção de IA inclui os seguintes frameworks. Quando você ativa a Proteção de IA, o Security Command Center ativa automaticamente esses frameworks na sua organização ou projeto.
O framework Security Essentials está disponível nos níveis de serviço Standard, Premium e Enterprise.
O Google Recommended AI Essentials - Gemini Enterprise Agent Platform está disponível nos níveis de serviço Premium e Enterprise.
Dependendo do nível de serviço, é possível configurar outros frameworks e controles de nuvem do Compliance Manager. Para mais informações sobre o Compliance Manager, consulte Compliance Manager.
Frameworks personalizados do Compliance Manager
É possível criar frameworks personalizados fazendo cópias dos frameworks integrados disponíveis no seu nível de serviço.
- Personalização: é possível adicionar ou remover controles de nuvem nos frameworks personalizados para que correspondam às suas políticas de segurança.
- Aplicação direcionada: é possível aplicar frameworks personalizados a organizações, pastas ou projetos específicos. Por exemplo, é possível aplicar controles jurisdicionais específicos a pastas específicas para garantir que os dados permaneçam em uma região geográfica específica.
- Limitação: não é possível atribuir frameworks de proteção de IA a aplicativos.
Regras do Event Threat Detection para recursos da Gemini Enterprise Agent Platform
O Event Threat Detection detecta várias ameaças em potencial envolvendo recursos da Gemini Enterprise Agent Platform, como atividade anômala de conta de serviço, mudanças em permissões sensíveis e abuso de identidade de agentes.
As categorias de descoberta que se aplicam aos recursos de IA incluem:
-
Credential Access: AI Agent Anomalous Access to Metadata Service -
Defense Evasion: Folder Level TokenCreator Role Granted to AI Agent -
Defense Evasion: Organization Level TokenCreator Role Granted to AI Agent -
Defense Evasion: Project Level TokenCreator Role Granted to AI Agent -
Discovery: AI Agent Service Account Self-Investigation -
Discovery: AI Agent Unauthorized Service Account API Call -
Discovery: Evidence of Port Scanning from AI Agent -
Exfiltration: AI Agent Initiated BigQuery Data Exfiltration to External Table -
Exfiltration: AI Agent Initiated BigQuery Data Extraction -
Exfiltration: AI Agent Initiated BigQuery VPC Perimeter Violation -
Exfiltration: AI Agent Initiated CloudSQL Exfiltration to External Bucket -
Exfiltration: AI Agent Initiated CloudSQL Exfiltration to Public Bucket -
Impact: Gemini Discovery Engine API Document Import by External User -
Impact: Gemini Discovery Engine API Document Import from External Resource -
Impact: Gemini Discovery Engine API Document Import VPC Perimeter Violation -
Initial Access: AI Agent Identity Excessive Permission Denied Actions -
Initial Access: Dormant Service Account Activity in AI Service -
Persistence: External Access Granted to Gemini Discovery Engine API Apps -
Persistence: New AI API Method -
Persistence: New Geography for AI Service -
Persistence: Sensitive AI Permission Added to Custom Role -
Persistence: Sensitive Role Granted by AI Agent -
Persistence: Sensitive Role Granted to External AI Agent -
Privilege Escalation: AI Agent Cross-Project Access Token Generation -
Privilege Escalation: AI Agent Cross-Project OpenID Token Generation -
Privilege Escalation: AI Agent Token Generation Using Implicit Delegation -
Privilege Escalation: AI Agent Token Generation Using signJwt -
Privilege Escalation: Anomalous Impersonation of Service Account for AI Admin Activity -
Privilege Escalation: Anomalous Multistep Service Account Delegation for AI Admin Activity -
Privilege Escalation: Anomalous Multistep Service Account Delegation for AI Data Access -
Privilege Escalation: Anomalous Service Account Impersonator for AI Admin Activity -
Privilege Escalation: Anomalous Service Account Impersonator for AI Data Access
Para uma lista completa de descobertas do Event Threat Detection que se aplicam a recursos de IA, consulte Visão geral do Event Threat Detection.
Detecção de ameaças da Agent Platform para o Agent Runtime
A Detecção de ameaças da Agent Platform (pré-lançamento) oferece detecção de ameaças em ambiente de execução para agentes implantados no Agent Runtime. Ele monitora os agentes em execução em busca de possíveis ataques e gera descobertas no Security Command Center.
A Detecção de Ameaças da Plataforma do Agente gera descobertas para o Agent Runtime, incluindo as seguintes categorias:
-
Command and Control: Steganography Tool Detected -
Credential Access: Find Google Cloud Credentials -
Credential Access: GPG Key Reconnaissance -
Credential Access: Search Private Keys or Passwords -
Defense Evasion: Base64 ELF File Command Line -
Defense Evasion: Base64 Encoded Python Script Executed -
Defense Evasion: Base64 Encoded Shell Script Executed -
Defense Evasion: Launch Code Compiler Tool In Container -
Execution: Added Malicious Binary Executed -
Execution: Added Malicious Library Loaded -
Execution: Added Malicious Skill Executed -
Execution: Added Malicious Skill Loaded -
Execution: Built in Malicious Binary Executed -
Execution: Container Escape -
Execution: Fileless Execution in /memfd: -
Execution: Kubernetes Attack Tool Execution -
Execution: Local Reconnaissance Tool Execution -
Execution: Malicious Python Executed -
Execution: Modified Malicious Binary Executed -
Execution: Modified Malicious Library Loaded -
Execution: Modified Malicious Skill Executed -
Execution: Modified Malicious Skill Loaded -
Execution: Netcat Remote Code Execution in Container -
Execution: Possible Arbitrary Command Execution through CUPS (CVE-2024-47177) -
Execution: Possible Remote Command Execution Detected -
Execution: Program Run with Disallowed HTTP Proxy Env -
Execution: Socat Reverse Shell Detected -
Execution: Suspicious OpenSSL Shared Object Loaded -
Exfiltration: Launch Remote File Copy Tools in Container -
Impact: Detect Malicious Cmdlines -
Impact: Remove Bulk Data from Disk -
Impact: Suspicious crypto mining activity using the Stratum Protocol -
Malicious Script Executed -
Malicious URL Observed -
Privilege Escalation: Attempt to Abuse Sudo For Privilege Escalation (CVE-2019-14287) -
Privilege Escalation: Polkit Local Privilege Escalation Vulnerability (CVE-2021-4034) -
Privilege Escalation: Sudo Potential Privilege Escalation (CVE-2021-3156) -
Reverse Shell -
Unexpected Child Shell
Saiba mais sobre a Detecção de ameaças do Agent Platform.
Avaliação de Vulnerabilidades da Agent Platform
A Avaliação de Vulnerabilidades da Agent Platform (pré-lançamento) identifica vulnerabilidades e secrets em texto simples, como credenciais, chaves, tokens de acesso ou certificados, em imagens de contêiner da Gemini Enterprise Agent Platform.
Para mais informações, consulte Avaliação de vulnerabilidades da plataforma de agentes em "Serviços de detecção".
Notebook Security Scanner
O Notebook Security Scanner (pré-lançamento) verifica os notebooks do Colab Enterprise para detectar vulnerabilidades em pacotes Python.
Para mais informações, consulte Notebook Security Scanner em "Serviços de detecção".
Proteção de Dados Sensíveis
O serviço de descoberta da Proteção de Dados Sensíveis é um serviço totalmente gerenciado Google Cloud que ajuda a descobrir, classificar e proteger dados sensíveis. É possível usar a Proteção de Dados Sensíveis para determinar se você está armazenando informações sensíveis ou informações de identificação pessoal (PII).
Para mais informações, consulte Descobertas da Proteção de Dados Sensíveis em "Serviços de detecção".
Model Armor
Depois de ativar o Model Armor e configurá-lo para integração com um ou mais componentes relacionados à IA, é possível investigar as descobertas do Model Armor no Security Command Center.
No nível de serviço Security Command Center Standard, a Proteção para IA não é compatível com modelos do Gemini.
Para configurar o Model Armor, consulte Criar e gerenciar modelos.
Mecanismo de risco
O Mecanismo de Risco é um recurso do Security Command Center que avalia a exposição ao risco das suas implantações na nuvem, atribui pontuações de exposição a ataques a descobertas de vulnerabilidades e aos seus recursos de alto valor e cria diagramas de caminhos que um possível invasor pode seguir para alcançar seus recursos de alto valor.
Para mais informações, consulte Mecanismo de risco em "Serviços de detecção".
Recursos compatíveis com a Proteção por IA
A Proteção para IA descobre recursos usando os seguintes mecanismos:
- Recursos de IA declarativos: recursos que as ferramentas de gestão do ciclo de vida da IA (como a Gemini Enterprise Agent Platform) rastreiam.
- Recursos de IA inferidos: recursos de uso geral (como recursos de computação e armazenamento) que processam dados ou cargas de trabalho de IA.
- Modelo como serviço (somente API): recursos que fazem chamadas programáticas para modelos de IA próprios ou de terceiros.
Nesta seção, definimos o inventário e os recursos de IA compatíveis que a Proteção de IA pode ajudar a proteger.
- Apps Gemini Enterprise e Agent Search: são sistemas de IA que podem perceber o ambiente, tomar decisões e entrar em ação para alcançar metas específicas.
- Endpoints: as cargas de trabalho de aplicativos de IA variam de ferramentas internas destinadas a melhorar a produtividade dos funcionários a soluções voltadas ao consumidor, projetadas para melhorar a experiência do usuário e impulsionar os negócios. Exemplos incluem agentes de IA, assistentes virtuais, chatbots de IA de conversação e recomendações personalizadas. A Proteção para IA os identifica como endpoints da plataforma de agentes na guia Recursos de IA da página Recursos.
- Fontes de dados: as fontes de dados compatíveis incluem tabelas do BigQuery, Cloud Storage, conjuntos de dados da Agent Platform e repositórios de dados do Gemini Enterprise.
- Modelos: a Proteção de IA identifica modelos de IA como modelos de IA de fundação,
modelos de IA ajustados, modelos de IA próprios padrão e modelos de IA personalizados.
Os exemplos incluem:
- Gemini (disponível nos níveis de serviço Premium e Enterprise (descontinuado))
- Llama
- modelos de tradução
- Modelos personalizados para tarefas específicas
- Recursos de IA: os recursos de IA contribuem para pipelines de operação de machine learning e são usados por cargas de trabalho de IA. Os tipos de recursos de IA incluem:
- Servidores do Protocolo de Contexto de Modelo (MCP): a Proteção de IA identifica servidores MCP catalogados no Registro de Agentes. Para usar esse recurso, é necessário configurar a API App Hub em cada projeto que hospeda um servidor MCP.
Impactos das mudanças no nível de serviço
Se você fizer downgrade do nível de serviço de Premium ou Enterprise para Standard, o downgrade vai afetar os recursos de proteção de IA da seguinte maneira:
- Serviços de detecção: o Security Command Center desativa os serviços de detecção e os frameworks do Compliance Manager que não são compatíveis com o nível Standard. Para mais informações, consulte Gerenciar níveis de serviço gerenciado no Compliance Manager.
- Recursos de investigação: você perde o acesso a recursos avançados de investigação, como simulações de caminho de ataque para recursos de IA, avaliação de vulnerabilidade de agentes e detecção de agentes com privilégios excessivos.
- As descobertas ficam inativas: as descobertas criadas por frameworks do Compliance Manager que não são compatíveis com o nível Standard ficam inativas. Para mais informações, consulte Gerenciar níveis de serviço gerenciado no Compliance Manager.
Se você fizer upgrade para o nível Premium ou Enterprise, o Security Command Center vai restaurar os recursos avançados, mas não vai recuperar automaticamente as implantações de framework que foram removidas durante o downgrade. É preciso reimplantar manualmente os frameworks.