Geral
O que é o Serviço Gerenciado para Apache Spark?
O Serviço Gerenciado para Apache Spark é um serviço rápido, fácil de usar, de baixo custo e totalmente gerenciado que permite executar o ecossistema do Apache Spark e do Apache Hadoop no Google Cloud Platform. O Serviço Gerenciado para Apache Spark provisiona clusters grandes ou pequenos rapidamente, é compatível com muitos tipos de serviço conhecidos e é integrado a outros serviços do Google Cloud Platform, como o Cloud Storage e o Cloud Logging, ajudando a reduzir o TCO.
Qual é a diferença entre o Serviço Gerenciado para Apache Spark e os clusters tradicionais do Hadoop?
O Serviço Gerenciado para Apache Spark é um serviço gerenciado de Spark/Hadoop que torna o Spark e o Hadoop fáceis, rápidos e eficientes. Em uma implantação tradicional do Hadoop, mesmo que seja baseada na nuvem, você precisa instalar, configurar, administrar e controlar o trabalho no cluster. Por outro lado, o Serviço Gerenciado para Apache Spark lida com a criação, o gerenciamento, o monitoramento e a orquestração de jobs de clusters para você.
Como posso usar o Serviço Gerenciado para Apache Spark?
Há várias maneiras de usar um cluster do Serviço Gerenciado para Apache Spark, dependendo das suas necessidades e capacidades. Use oGoogle Cloud console baseado em navegador para interagir com o Serviço Gerenciado para Apache Spark. Como o Serviço Gerenciado para Apache Spark está integrado à Google Cloud CLI, você pode usar a Google Cloud CLI. Para acesso programático a clusters, use a API REST do Serviço Gerenciado para Apache Spark. Também é possível fazer conexões SSH com nós mestre ou de trabalho no cluster.
Como funciona o Serviço Gerenciado para Apache Spark?
O Serviço Gerenciado para Apache Spark é um framework gerenciado que é executado no Google Cloud Platform e reúne várias ferramentas conhecidas para processar dados, incluindo Apache Hadoop, Spark, Hive e Pig. O Serviço Gerenciado para Apache Spark tem um conjunto de mecanismos de controle e integração que coordenam o ciclo de vida, o gerenciamento e a coordenação de clusters. O Serviço Gerenciado para Apache Spark é integrado ao gerenciador de aplicativos YARN para facilitar o gerenciamento e o uso dos clusters.
Que tipo de jobs eu posso executar?
O Serviço Gerenciado para Apache Spark oferece suporte pronto para uso e de ponta a ponta para muitos dos tipos de serviço mais comuns, incluindo jobs do Spark, Spark SQL, PySpark, MapReduce, Hive e Pig.
Qual gerenciador de clusters o Serviço Gerenciado para Apache Spark usa com o Spark?
O Serviço Gerenciado para Apache Spark executa o Spark no YARN.
Com que frequência os componentes do Serviço Gerenciado para Apache Spark são atualizados?
O Serviço Gerenciado para Apache Spark é atualizado quando ocorrem lançamentos importantes nos componentes subjacentes (Hadoop, Spark, Hive, Pig). Cada versão principal do Serviço Gerenciado para Apache Spark é compatível com versões específicas de cada componente (consulte Versões compatíveis do Serviço Gerenciado para Apache Spark).
O Serviço Gerenciado para Apache Spark é integrado a outros produtos do Google Cloud Platform?
Sim, o Serviço Gerenciado para Apache Spark tem integrações nativas e automáticas com o Compute Engine, Cloud Storage, Bigtable, BigQuery, Logging e Cloud Monitoring. Além disso, o Serviço Gerenciado para Apache Spark é integrado a ferramentas que interagem com o Cloud Platform, incluindo a CLI gcloud e o Google Cloud console.
Posso executar um cluster permanente?
Depois de iniciados, os clusters do Serviço Gerenciado para Apache Spark continuam em execução até serem encerrados. É possível executar um cluster do Serviço Gerenciado para Apache Spark pelo tempo que for necessário.
Gerenciamento de clusters
Posso executar mais de um cluster por vez?
Sim, é possível executar mais de um cluster do Serviço Gerenciado para Apache Spark por projeto simultaneamente. Por padrão, todos os projetos estão sujeitos às cotas de recursos do Google Cloud. É possível consultar o uso da cota e solicitar um aumento da cota com facilidade. Para mais informações, consulte Cotas de recursos do Serviço Gerenciado para Apache Spark.
Como posso criar ou eliminar um cluster?
Há várias maneiras de criar e eliminar clusters. As seções do Serviço Gerenciado para Apache Spark no Google Cloud console facilitam o gerenciamento de clusters no navegador. Os clusters também podem ser gerenciados pela linha de comando usando a CLI gcloud. Para casos de uso mais complexos ou avançados, a API REST do Serviço Gerenciado para Apache Spark do Cloud pode ser usada para gerenciar clusters de maneira programática.
Posso aplicar configurações personalizadas ao criar um cluster?
O Serviço Gerenciado para Apache Spark é compatível com ações de inicialização que são executadas quando um cluster é criado. Essas ações de inicialização podem ser scripts ou executáveis que o Serviço Gerenciado para Apache Spark vai executar ao provisionar o cluster para personalizar configurações, instalar aplicativos ou fazer outras modificações no cluster.
Como dimensionar um cluster de acordo com as minhas necessidades?
As decisões de dimensionamento de cluster são influenciadas por vários fatores, incluindo o tipo de trabalho que será realizado, as restrições de custos, os requisitos de velocidade e a cota de recursos. Como o Serviço Gerenciado para Apache Spark pode ser implantado em vários tipos de máquina, você tem a flexibilidade de escolher os recursos necessários, quando precisar deles.
Posso redimensionar meu cluster?
Sim, você pode redimensionar facilmente o cluster, mesmo durante o processamento do job. É possível redimensionar o cluster pelo Google Cloud console ou pela linha de comando. O redimensionamento aumenta ou reduz o número de trabalhos no cluster. Os trabalhos adicionados ao cluster são do mesmo tipo e tamanho que os existentes. O redimensionamento de clusters é aceitável e permitido, exceto em casos especiais, como redução do número de trabalhos a um ou da capacidade de HDFS abaixo da quantidade necessária para conclusão do job.
Gerenciamento de jobs e fluxos de trabalho
Como posso enviar jobs no meu cluster?
Há várias maneiras de enviar jobs em um cluster do Serviço Gerenciado para Apache Spark. A maneira mais fácil é usar a página Enviar um job do Serviço Gerenciado para Apache Spark no Google Cloud console ou o comando gcloud dataproc jobs submit da CLI gcloud. Para envio de jobs programáticos, consulte a referência da API Dataproc.
Posso executar mais de um job por vez?
Sim, é possível executar mais de um job por vez em um cluster do Serviço Gerenciado para Apache Spark. O Cloud Serviço Gerenciado para Apache Spark utiliza um gerenciador de recursos (YARN) e configurações específicas do aplicativo, como o escalonamento com o Spark, para otimizar o uso de recursos em um cluster. O desempenho do job é escalonado de acordo com o tamanho do cluster e o número de jobs ativos.
Posso cancelar jobs em meu cluster?
Certamente. Os jobs podem ser cancelados pela interface da Web do Google Cloud console ou pela linha de comando. O Serviço Gerenciado para Apache Spark utiliza o cancelamento de aplicativos do YARN para interromper jobs mediante solicitação.
Posso automatizar jobs em meu cluster?
É possível automatizar jobs para execução em clusters por meio de vários mecanismos. É possível usar a gcloud CLI da Google Cloud CLI ou as APIs REST do Managed Service for Apache Spark para automatizar o gerenciamento e o fluxo de trabalho de clusters e jobs.
Desenvolvimento
Quais linguagens de desenvolvimento são compatíveis?
É possível usar linguagens compatíveis com o ecossistema Spark e Hadoop, incluindo Java, Scala, Python e R.
O Serviço Gerenciado para Apache Spark tem uma API?
Sim, o Serviço Gerenciado para Apache Spark tem um conjunto de APIs RESTful que permitem interagir de forma programática com clusters e jobs.
Posso usar SSH em um cluster?
Sim, é possível se conectar por SSH a todas as máquinas (nó mestre ou nó de trabalho) em um cluster. Isso pode ser feito do navegador ou da linha de comando.
Posso acessar as IUs da Web do Spark e Hadoop?
Sim, as IUs do Hadoop e do Spark (Spark, Hadoop, YARN) são acessíveis em um cluster. Em vez de abrir portas para as IUs, recomendamos usar um túnel SSH, que encaminhará o tráfego dos clusters pela conexão SSH com segurança.
Posso instalar ou gerenciar software em meu cluster?
Sim, assim como em um cluster ou servidor do Hadoop, é possível instalar e gerenciar software em um cluster do Serviço Gerenciado para Apache Spark.
Qual é o fator de replicação padrão?
Devido a considerações de desempenho e à alta confiabilidade do armazenamento anexado aos clusters do Serviço Gerenciado para Apache Spark, o fator de replicação padrão é definido como 2.
Qual sistema operacional (SO) é usado no Serviço Gerenciado para Apache Spark?
O Serviço Gerenciado para Apache Spark é baseado no Debian e no Ubuntu. As imagens mais recentes se baseiam no Debian 10 Buster e no Ubuntu 18.04 LTS.
Onde posso aprender sobre streaming do Hadoop?
Consulte a documentação do projeto Apache.
Como instalar o comando gcloud dataproc?
Quando você instala a CLI gcloud, a ferramenta de linha de comando padrão gcloud é instalada, incluindo os comandos gcloud dataproc.
Acesso e disponibilidade de dados
Como receber e enviar dados de um cluster?
O Serviço Gerenciado para Apache Spark usa o sistema de arquivos distribuídos do Hadoop (HDFS) para armazenamento. Além disso, o Serviço Gerenciado para Apache Spark instala automaticamente o conector do Cloud Storage compatível com HDFS, o que permite o uso do Cloud Storage em paralelo com o HDFS. Os dados podem ser movidos para dentro e para fora de um cluster por meio de upload/download para o HDFS ou o Cloud Storage.
Posso usar o Cloud Storage com o Dataproc?
Sim, os clusters do Serviço Gerenciado para Apache Spark instalam automaticamente o conector do Cloud Storage. Há vários benefícios ao escolher o Cloud Storage em vez do HDFS tradicional, inclusive persistência de dados, confiabilidade e desempenho.
Posso receber suporte para o conector do Cloud Storage?
Sim, quando usado com o Serviço Gerenciado para Apache Spark, o conector do Cloud Storage
tem o mesmo nível de suporte que o Serviço Gerenciado para Apache Spark (consulte
Receber suporte). Todos os usuários do conector
podem usar a tag google-cloud-dataproc no
Stack Overflow
para perguntas e respostas sobre o conector.
Qual é o tamanho de arquivo ideal para conjuntos de dados no HDFS e no Cloud Storage?
Para melhorar o desempenho, armazene dados em arquivos maiores, por exemplo, com tamanhos entre 256 MB e 512 MB.
O Serviço Gerenciado para Apache Spark é confiável?
Como o Serviço Gerenciado para Apache Spark é baseado em tecnologias confiáveis e comprovadas do Google Cloud Platform, incluindo o Compute Engine, o Cloud Storage e o Monitoring, ele foi projetado para alta disponibilidade e confiabilidade. Como um produto em disponibilidade geral, você pode consultar o SLA do Serviço Gerenciado para Apache Spark.
O que acontece com meus dados quando um cluster é encerrado?
Todos os dados no Google Cloud Storage serão mantidos depois que o cluster for encerrado. Esse é um dos motivos para escolher o Cloud Storage em relação a HDFS, porque os dados HDFS são removidos quando um cluster é encerrado, a menos que sejam transferidos para um local persistente antes do encerramento.
Como gerar registros, monitorar e depurar
Que tipo de geração de registros e monitoramento está disponível?
Por padrão, os clusters do Serviço Gerenciado para Apache Spark são integrados ao Monitoring e ao Logging. O Monitoring e o Logging facilitam o acesso a informações detalhadas sobre a integridade, o desempenho e o status dos clusters do Serviço Gerenciado para Apache Spark. Os registros do aplicativo (YARN, Spark etc.) e do sistema são encaminhados para o Logging.
Como posso ver os registros do Serviço Gerenciado para Apache Spark?
É possível ver os registros do Serviço Gerenciado para Apache Spark de várias maneiras. Visite o Logging para ver os registros agregados do cluster em um navegador da Web. Além disso, use a linha de comando (SSH) para ver os registros manualmente ou monitorar as saídas do aplicativo. Por fim, os detalhes também estão disponíveis nas interfaces da Web do aplicativo Hadoop, como a interface da Web do YARN.
Como é possível monitorar os clusters?
Os clusters podem ser facilmente monitorados pelo Monitoring ou pela seção do Serviço Gerenciado para Apache Spark do Google Cloud console. Também é possível monitorá-los por acesso de linha de comando (SSH) ou pelas interfaces da Web do aplicativo (Spark, YARN etc.).
Segurança e acesso
Como os meus dados são protegidos?
O Google Cloud Platform usa um modelo de segurança avançado, que também se aplica ao Serviço Gerenciado para Apache Spark do Cloud. O Serviço Gerenciado para Apache Spark oferece mecanismos de autenticação, autorização e criptografia, como SSL, para proteger os dados. Também é possível criptografar os dados em trânsito de e para o cluster, durante a criação do cluster ou o envio do job.
Como posso controlar o acesso ao meu cluster do Serviço Gerenciado para Apache Spark?
O Google Cloud Platform oferece mecanismos de autenticação que podem ser usados com o Serviço Gerenciado para Apache Spark. O acesso a clusters e jobs do Serviço Gerenciado para Apache Spark pode ser concedido a usuários no nível do projeto.
Faturamento
Como o Serviço Gerenciado para Apache Spark é faturado?
O Serviço Gerenciado para Apache Spark é faturado por segundo e se baseia no tamanho de um cluster e no tempo em que ele fica operacional. Ao calcular o componente de cluster da taxa, o Serviço Gerenciado para Apache Spark cobra uma taxa fixa com base no número de CPUs virtuais (vCPUs) em um cluster. Essa tarifa fixa é a mesma, independentemente do tipo de máquina ou do tamanho dos recursos usados do Google Compute Engine.
Sou cobrado por outros recursos do Google Cloud?
Sim, a execução de um cluster do Serviço Gerenciado para Apache Spark gera cobranças por outros recursos do Google Cloud usados no cluster, como o Compute Engine e o Cloud Storage. Cada item é identificado na sua fatura de modo separado, para que você saiba exatamente como os custos são calculados e alocados.
Há um tempo mínimo ou máximo para o faturamento?
As cobranças do Google Cloud são calculadas por segundo, e não por hora. No momento, o Compute Engine tem um incremento mínimo de um minuto para o faturamento. Portanto, o Serviço Gerenciado para Apache Spark também tem um incremento mínimo de faturamento de 1 minuto.
Disponibilidade
Quem pode criar um cluster do Serviço Gerenciado para Apache Spark?
O Serviço Gerenciado para Apache Spark está em disponibilidade geral, o que significa que todos os clientes do Google Cloud Platform podem usá-lo.
Em quais regiões o Serviço Gerenciado para Apache Spark está disponível?
O Serviço Gerenciado para Apache Spark está disponível em todas as regiões e zonas da plataforma do Google Cloud.