Visão geral do Serviço Gerenciado para Apache Spark em clusters

O Serviço Gerenciado para Apache Spark em clusters permite aproveitar ferramentas de dados de código aberto para processamento em lote, consultas, streaming e machine learning. A automação do Serviço Gerenciado para Apache Spark em clusters facilita a criação e o gerenciamento de clusters além de gerar economias, porque permite desativar os clusters que não estão em uso. Com menos tempo e dinheiro gastos com administração, você pode se concentrar nos jobs e dados.

Vantagens do Serviço Gerenciado para Apache Spark em clusters

Quando comparado com produtos tradicionais no local e serviços de nuvem da concorrência, o Serviço Gerenciado para Apache Spark oferece várias vantagens exclusivas para clusters de três a centenas de nós:

  • Baixo custo: o Serviço Gerenciado para Apache Spark em clusters tem o preço de apenas 1 centavo por CPU virtual no cluster por hora, além dos outros recursos do Google Cloud que você usa. Além desse preço baixo, os clusters do Serviço Gerenciado para Apache Spark podem incluir instâncias preemptivas com preços de computação menores, reduzindo ainda mais os custos. Em vez de arredondar o uso para a hora mais próxima, o Serviço Gerenciado para Apache Spark em clusters cobra apenas o que você realmente usa, com faturamento por segundo e um período mínimo de faturamento de um minuto.
  • Super rápido: sem usar o Serviço Gerenciado para Apache Spark em clusters, pode levar de cinco a 30 minutos para criar clusters do Spark e do Hadoop no local ou com provedores de IaaS. Em comparação, os clusters do Serviço Gerenciado para Apache Spark têm inicialização, escala e desligamento rápidos, e cada uma dessas operações leva, em média, até 90 segundos. Ou seja, você passa menos tempo esperando por clusters e mais tempo trabalhando com dados.
  • Integrado: o Serviço Gerenciado para Apache Spark em clusters tem integração integrada com outros serviços do Google Cloud , como BigQuery, Cloud Storage, Bigtable, Cloud Logging e Cloud Monitoring. Assim, você tem mais do que apenas um cluster do Spark ou do Hadoop: você tem uma plataforma de dados completa. Por exemplo, é possível usar o Serviço Gerenciado para Apache Spark em clusters para extrair com facilidade terabytes de dados de registro brutos de ETL diretamente do BigQuery para relatórios comerciais.
  • Gerenciado: use clusters do Spark e do Hadoop sem a ajuda de um administrador ou software especial. É possível interagir com clusters e jobs do Spark ou do Hadoop usando o console do Google Cloud , o SDK Cloud ou a API REST do Serviço Gerenciado para Apache Spark em clusters. Quando terminar de usar um cluster, desative-o para não gastar dinheiro com um cluster ocioso. Você não precisa se preocupar com a perda de dados, porque o Serviço Gerenciado para Apache Spark é integrado ao Cloud Storage, ao BigQuery e ao Bigtable.
  • Simples e familiar: não é necessário aprender novas ferramentas ou APIs para usar o Serviço Gerenciado para Apache Spark em clusters, o que permite mover projetos atuais para o Serviço Gerenciado para Apache Spark em clusters sem precisar de desenvolvimento adicional. O Spark, Hadoop, Pig e Hive são atualizados com frequência para que você possa ser produtivo mais rapidamente.

O que está incluído no Serviço Gerenciado para Apache Spark em clusters?

Para uma lista das versões de código aberto (Hadoop, Spark, Hive e Pig) e de conectores do Google Cloud compatíveis com o Serviço Gerenciado para Apache Spark em clusters, consulte as listas de versões de imagem de cluster do Serviço Gerenciado para Apache Spark.

Primeiros passos

Para começar, consulte os guias de início rápido do Serviço Gerenciado para Apache Spark em clusters. É possível acessar o Serviço Gerenciado para Apache Spark em clusters das seguintes maneiras: