Usar a CMEK com o Managed Service for Apache Spark

Por padrão, o Serviço Gerenciado para Apache Spark criptografa o conteúdo do cliente em repouso. O Serviço Gerenciado para Apache Spark executa a criptografia para você, sem nenhuma ação adicional da sua parte. Essa opção é chamada de criptografia padrão do Google.

Se você quiser controlar suas chaves de criptografia, use chaves de criptografia gerenciadas pelo cliente (CMEKs) no Cloud KMS com serviços integrados a CMEKs, incluindo o Serviço Gerenciado para Apache Spark. Ao usar chaves do Cloud KMS, é possível controlar o nível de proteção, o local, a programação de rotação, as permissões de uso e acesso e os limites criptográficos. Com o Cloud KMS, também é possível ver registros de auditoria e controlar ciclos de vida de chaves. Em vez de o Google ser proprietário e responsável pelo gerenciamento das chaves de criptografia de chaves (KEKs) simétricas que protegem seus dados, você controla e gerencia essas chaves no Cloud KMS.

Depois de configurar os recursos com CMEKs, a experiência de acesso aos recursos do Serviço Gerenciado para Apache Spark é semelhante à criptografia padrão do Google. Para saber mais sobre suas opções de criptografia, consulte Chaves de criptografia gerenciadas pelo cliente (CMEK).

Quando você usa o Serviço Gerenciado para Apache Spark, os dados são armazenados em discos na infraestrutura sem servidor subjacente e em um bucket de preparo do Cloud Storage. Esses dados são criptografados com uma chave de criptografia de dados (DEK) gerada pelo Google e uma chave de criptografia de chaves (KEK). Se você quiser controlar sua KEK, use uma chave de criptografia gerenciada pelo cliente (CMEK) em vez da criptografia em repouso padrão. Ao usar uma CMEK, você cria a chave e gerencia o acesso a ela, além de poder revogar o acesso para impedir a descriptografia das DEKs e dos dados.

Usar CMEK

Siga as etapas nesta seção para usar CMEK para criptografar dados que o Serviço Gerenciado para Apache Spark grava no disco permanente e no bucket de preparo do Serviço Gerenciado para Apache Spark.

A partir de 23 de abril de 2024:

• O Serviço Gerenciado para Apache Spark também usa sua CMEK para criptografar argumentos de job em lote. O papel do IAM de criptografador/descriptografador de CryptoKey do Cloud KMS precisa ser atribuído à conta de serviço do agente de serviço do Serviço Gerenciado para Apache Spark para ativar esse comportamento. Se o papel de agente de serviço do Serviço Gerenciado para Apache Spark não estiver anexado à conta de serviço do agente de serviço do Serviço Gerenciado para Apache Spark, adicione a permissão serviceusage.services.use a um papel personalizado anexado à conta de serviço do agente de serviço do Serviço Gerenciado para Apache Spark . A API Cloud KMS precisa estar ativada no projeto que executa os recursos do Serviço Gerenciado para Apache Spark.
• batches.list retorna um campo unreachable que lista todos os lotes com argumentos de job que não puderam ser descriptografados. É possível emitir solicitações batches.get para receber mais informações sobre lotes inacessíveis.
• A chave (CMEK) precisa estar no mesmo local que o recurso criptografado. Por exemplo, a CMEK usada para criptografar um lote executado na região us-central1 também precisa estar localizada na região us-central1.

É possível usar o Cloud Key Management Service para criar e gerenciar chaves e keyrings ou usar a chave automática do Cloud KMS para simplificar a criação automática de chaves e keyrings.

Como usar o Autokey do Cloud KMS

1. Ative o Autokey na pasta que contém seu projeto.
2. Crie um identificador de chave. Ao criar o identificador de chave, especifique dataproc.googleapis.com/Batch ou dataproc.googleapis.com/Session como --resource-type. O Autokey gera uma chave e a atribui ao identificador de chave.
3. Conceda permissões às contas de serviço e configure a carga de trabalho em lote ou de sessão seguindo as etapas 4 e 5 na seção Criar e usar chaves manualmente abaixo. Ao enviar a carga de trabalho, especifique o nome do recurso do identificador de chave no lugar do nome do recurso da chave no campo kmsKey.

Criar e usar chaves manualmente

Siga estas etapas para criar manualmente chaves do Cloud KMS e usá-las com o Serviço Gerenciado para Apache Spark.

1. Crie uma chave usando o Cloud Key Management Service (Cloud KMS).

2. Copie o nome do recurso.

   

   O nome do recurso é criado da seguinte maneira:

   projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME
   

3. Ative as contas de serviço do Compute Engine, do Serviço Gerenciado para Apache Spark e do agente de serviço do Cloud Storage para usar sua chave:

   1. Consulte Proteger recursos usando chaves do Cloud KMS > Papéis necessários para atribuir o papel Criptografador/descriptografador de CryptoKey do Cloud KMS à conta de serviço do agente de serviço do Compute Engine. Se essa conta de serviço não estiver listada na página do IAM no console do Google Cloud , clique em Incluir concessões de papel fornecidas pelo Google para listá-la.

   2. Atribua o papel Criptografador/descriptografador de CryptoKey do Cloud KMS à conta de serviço do agente de serviço do Serviço Gerenciado para Apache Spark. Use Google Cloud CLI para atribuir a função:

       gcloud projects add-iam-policy-binding KMS_PROJECT_ID \
       --member serviceAccount:service-PROJECT_NUMBER@dataproc-accounts. \
       --role roles/cloudkms.cryptoKeyEncrypterDecrypter
      

      Substitua:

      KMS_PROJECT_ID: o ID do projeto do Google Cloud que executa o Cloud KMS. Esse projeto também pode ser o que executa os recursos do Serviço Gerenciado para Apache Spark.

      PROJECT_NUMBER: o número do projeto (não o ID do projeto) do seu projeto do Google Cloud que executa os recursos do Serviço Gerenciado para Apache Spark.

   3. Ative a API Cloud KMS no projeto que executa os recursos do Serviço Gerenciado para Apache Spark.

   4. Se o papel de agente de serviço do Serviço Gerenciado para Apache Spark não estiver anexado à conta de serviço do agente de serviço do Serviço Gerenciado para Apache Spark, adicione a permissão serviceusage.services.use ao papel personalizado anexado à conta de serviço do agente de serviço do Serviço Gerenciado para Apache Spark. Se o papel de agente de serviço do Serviço Gerenciado para Apache Spark estiver anexado à conta de serviço do agente de serviço do Serviço Gerenciado para Apache Spark, pule esta etapa.

   5. Siga as etapas para adicionar sua chave ao bucket.

4. Quando você envia uma carga de trabalho em lote:

   1. Especifique sua chave no parâmetro de lote kmsKey.
   2. Especifique o nome do bucket do Cloud Storage no parâmetro de lote stagingBucket.

5. Ao criar uma sessão interativa ou um perfil de ambiente de execução (modelo de sessão), configure a chave de criptografia e o bucket de preparo:

   1. Especifique sua chave. Na página Criar um perfil de ambiente de execução no console doGoogle Cloud , em Configuração adicional, edite Rede e segurança, selecione Chave do Cloud KMS em Criptografia e selecione sua chave. Se preferir, especifique a chave no parâmetro de sessão ou de modelo de sessão kmsKey.

   2. Especifique o nome do bucket do Cloud Storage. Na página Criar um perfil de ambiente de execução no console do Google Cloud , em Configuração adicional, edite Configuração do ambiente de execução e selecione seu bucket no campo Bucket de preparo. Como alternativa, especifique o bucket no parâmetro stagingBucket da sessão ou do modelo de sessão.