General
¿Qué es Managed Service para Apache Spark?
Managed Service para Apache Spark es un servicio rápido, fácil de usar, de bajo costo y completamente administrado que te permite ejecutar el ecosistema de Apache Spark y Apache Hadoop en Google Cloud Platform. Managed Service para Apache Spark aprovisiona clústeres grandes o pequeños con rapidez, admite muchos tipos de trabajos populares y se integra con otros servicios de Google Cloud Platform, como Cloud Storage y Cloud Logging, lo que te ayuda a reducir el TCO.
¿En qué se diferencia Managed Service para Apache Spark de los clústeres de Hadoop tradicionales?
Managed Service para Apache Spark es un servicio administrado de Spark y Hadoop diseñado para que Spark y Hadoop sean fáciles, rápidos y potentes. En una implementación tradicional de Hadoop, incluso una basada en la nube, debes instalar, configurar, administrar y organizar el trabajo en el clúster. En cambio, Managed Service para Apache Spark se encarga de la creación, la administración, la supervisión y la organización de trabajos de los clústeres.
¿Cómo puedo usar Managed Service para Apache Spark?
Existen varias formas de usar un clúster de Managed Service para Apache Spark según tus necesidades y capacidades. Puedes usar laGoogle Cloud console basada en el navegador para interactuar con Managed Service para Apache Spark. O bien, como Managed Service para Apache Spark está integrado en Google Cloud CLI, puedes usar Google Cloud CLI. Para el acceso programático a los clústeres, usa la API de REST de Managed Service para Apache Spark. También puedes establecer conexiones SSH con nodos principales o trabajadores en tu clúster.
¿Cómo funciona Managed Service para Apache Spark?
Managed Service para Apache Spark es un framework administrado que se ejecuta en Google Cloud Platform y vincula varias herramientas populares para procesar datos, como Apache Hadoop, Spark, Hive y Pig. Managed Service para Apache Spark tiene un conjunto de mecanismos de control y de integración que coordinan el ciclo de vida, la administración y la coordinación de los clústeres. Managed Service para Apache Spark se integra en el administrador de aplicaciones de YARN para facilitar la administración y el uso de tus clústeres.
¿Qué tipos de trabajos puedo ejecutar?
Managed Service para Apache Spark proporciona asistencia lista para usar y de extremo a extremo para muchos de los tipos de trabajos más populares, incluidos los trabajos de Spark, Spark SQL, PySpark, MapReduce, Hive y Pig.
¿Qué administrador de clústeres usa Managed Service para Apache Spark con Spark?
Managed Service para Apache Spark ejecuta Spark en YARN.
¿Con qué frecuencia se actualizan los componentes de Managed Service para Apache Spark?
Managed Service para Apache Spark se actualiza cuando se producen versiones principales en los componentes subyacentes (Hadoop, Spark, Hive y Pig). Cada versión principal de Managed Service para Apache Spark admite versiones específicas de cada componente (consulta Versiones compatibles de Managed Service para Apache Spark).
¿Managed Service para Apache Spark está integrado en otros productos de Google Cloud Platform?
Sí, Managed Service para Apache Spark tiene integraciones nativas y automáticas con Compute Engine, Cloud Storage, Bigtable, BigQuery, Logging y Cloud Monitoring. Además, Managed Service para Apache Spark se integra en herramientas que interactúan con Cloud Platform, incluidas la gcloud CLI y la Google Cloud console.
¿Puedo ejecutar un clúster persistente?
Una vez iniciados, los clústeres de Managed Service para Apache Spark siguen ejecutándose hasta que se cierran. Puedes ejecutar un clúster de Managed Service para Apache Spark durante el tiempo que necesites.
Administración de clústeres
¿Puedo ejecutar más de un clúster a la vez?
Sí, puedes ejecutar más de un clúster de Managed Service para Apache Spark por proyecto de forma simultánea. De manera predeterminada, todos los proyectos están sujetos a las cuotas de recursos de Google Cloud. Puedes verificar el uso de tu cuota de manera sencilla y solicitar un aumento de esta. Para obtener más información, consulta Cuotas de recursos de Managed Service para Apache Spark.
¿Cómo puedo crear o destruir un clúster?
Puedes crear y destruir clústeres de varias maneras. Las secciones de Managed Service para Apache Spark en la Google Cloud console facilitan la administración de clústeres desde tu navegador. Los clústeres también se pueden administrar a través de la línea de comandos con la gcloud CLI. En el caso de casos de uso más complejos o avanzados, se puede usar la API de REST de Managed Service para Apache Spark de Cloud para administrar clústeres de manera programática.
¿Puedo aplicar una configuración personalizada cuando creo un clúster?
Managed Service para Apache Spark admite acciones de inicialización que se ejecutan cuando se crea un clúster. Estas acciones de inicialización pueden ser secuencias de comandos o ejecutables que Managed Service para Apache Spark ejecutará cuando aprovisione tu clúster para personalizar la configuración, instalar aplicaciones o realizar otras modificaciones en tu clúster.
¿Cómo ajusto el tamaño de un clúster a mis necesidades?
Ajustar el tamaño de tu clúster está sujeto a varios factores, incluidos el tipo de trabajo que se realiza, las restricciones de costos, los requisitos de velocidad y tu cuota de recursos. Como Managed Service para Apache Spark se puede implementar en una variedad de tipos de máquinas, tienes la flexibilidad de elegir los recursos que necesitas, cuando los necesitas.
¿Puedo cambiar el tamaño de mi clúster?
Sí, puedes cambiar el tamaño de tu clúster con facilidad, incluso durante el procesamiento de trabajos. Puedes cambiar el tamaño del clúster a través de la Google Cloud console o de la línea de comandos. Cambiar el tamaño puede aumentar o disminuir la cantidad de trabajadores de un clúster. Los trabajadores que se agregan a un clúster serán del mismo tipo y tamaño que los existentes. Cambiar el tamaño de clústeres es aceptable y compatible excepto en casos especiales, como cuando se reduce el número de trabajadores a uno o cuando se reduce la capacidad de HDFS por debajo de la cantidad necesaria para completar un trabajo.
Administración de trabajos y flujo de trabajo
¿Cómo puedo enviar trabajos en mi clúster?
Existen varias formas de enviar trabajos en un clúster de Managed Service para Apache Spark. La forma más sencilla es usar la página Enviar un trabajo de Managed Service para Apache Spark en la consola de Google Cloud o el comando gcloud dataproc jobs submit de gcloud CLI. Para el envío de trabajos de manera programática, consulta la referencia de la API de Dataproc.
¿Puedo ejecutar más de un trabajo a la vez?
Sí, puedes ejecutar más de un trabajo a la vez en un clúster de Managed Service para Apache Spark. Cloud Managed Service para Apache Spark usa un administrador de recursos (YARN) y parámetros de configuración específicos de la aplicación, como el escalamiento con Spark, para optimizar el uso de recursos en un clúster. El rendimiento de los trabajos escalará con el tamaño del clúster y la cantidad de trabajos activos.
¿Puedo cancelar trabajos en mi clúster?
Por supuesto. Los trabajos se pueden cancelar a través de la interfaz web de Google Cloud console o la línea de comandos. Managed Service para Apache Spark utiliza la cancelación de aplicaciones de YARN para detener los trabajos cuando se solicita.
¿Puedo automatizar trabajos en mi clúster?
Hay varios mecanismos para automatizar la ejecución de los trabajos en clústeres. Puedes usar la gcloud CLI de Google Cloud CLI o las APIs de REST del servicio administrado para Apache Spark para automatizar la administración y el flujo de trabajo de los clústeres y los trabajos.
Desarrollo
¿Qué lenguajes de desarrollo son compatibles?
Puedes usar lenguajes compatibles con el ecosistema de Spark y Hadoop, incluidos Java, Scala, Python y R.
¿Managed Service para Apache Spark tiene una API?
Sí, Managed Service para Apache Spark tiene un conjunto de APIs de REST que te permiten interactuar de forma programática con clústeres y trabajos.
¿Puedo establecer una conexión SSH con un clúster?
Sí, puedes establecer una conexión SSH con cada máquina (nodo principal o nodo trabajador) de un clúster. Puedes establecer una conexión SSH desde un navegador o la línea de comandos.
¿Puedo acceder a las IU web de Spark y Hadoop?
Sí, las IU de Hadoop y Spark (IU de Spark, Hadoop y YARN) son accesibles dentro de un clúster. En lugar de abrir puertos para las IU, recomendamos usar un túnel SSH que reenviará tráfico de forma segura desde clústeres a través de la conexión SSH.
¿Puedo instalar o administrar software en mi clúster?
Sí, al igual que con un clúster o servidor de Hadoop, puedes instalar y administrar software en un clúster de Managed Service para Apache Spark.
¿Cuál es el factor de replicación predeterminado?
Debido a consideraciones de rendimiento y a la alta confiabilidad del almacenamiento conectado a los clústeres de Managed Service para Apache Spark, el factor de replicación predeterminado se establece en 2.
¿Qué sistema operativo (SO) se usa para Managed Service para Apache Spark?
Managed Service para Apache Spark se basa en Debian y Ubuntu. Las últimas imágenes se basan en Debian 10 Buster y Ubuntu 18.04 LTS.
¿Dónde puedo obtener más información sobre la transmisión de Hadoop?
Puedes revisar la documentación del proyecto de Apache.
¿Cómo instalo el comando gcloud dataproc?
Cuando instalas la gcloud CLI, se instala la herramienta de línea de comandos estándar de gcloud,
que incluye los comandos de gcloud dataproc.
Disponibilidad y acceso a los datos
¿Cómo puedo ingresar y extraer datos de un clúster?
Managed Service para Apache Spark utiliza el sistema de archivos distribuido de Hadoop (HDFS) para el almacenamiento. Además, Managed Service para Apache Spark instala automáticamente el conector de Cloud Storage compatible con HDFS de Google Cloud, lo que permite el uso de Cloud Storage en paralelo con HDFS. Se pueden ingresar y extraer datos de un clúster a través de cargas y descargas en HDFS o Cloud Storage.
¿Puedo usar Cloud Storage con Dataproc?
Sí, los clústeres de Managed Service para Apache Spark instalan automáticamente el conector de Cloud Storage. Elegir Cloud Storage en lugar del HDFS tradicional tiene una serie de beneficios, incluidos la persistencia de datos, la confiabilidad y el rendimiento.
¿Puedo obtener compatibilidad con el conector de Cloud Storage?
Sí, cuando se usa con Managed Service para Apache Spark, el conector de Cloud Storage
se admite en el mismo nivel que Managed Service para Apache Spark (consulta
Obtén asistencia). Todos los usuarios de conectores
pueden usar la etiqueta google-cloud-dataproc en
Stack Overflow
para preguntas y respuestas sobre conectores.
¿Cuál es el tamaño de archivo ideal para los conjuntos de datos en HDFS y Cloud Storage?
Para mejorar el rendimiento, almacena los datos en archivos de mayor tamaño, por ejemplo, en el rango de 256 MB a 512 MB.
¿Qué tan confiable es Managed Service para Apache Spark?
Debido a que Managed Service para Apache Spark se basa en tecnologías confiables y probadas de Google Cloud Platform, incluidas Compute Engine, Cloud Storage y Monitoring, está diseñado para ofrecer alta disponibilidad y confiabilidad. Como producto de disponibilidad general, puedes revisar el ANS de Managed Service para Apache Spark.
¿Qué le sucede a mis datos cuando se cierra un clúster?
Todos los datos en Cloud Storage se conservan después del apagado de tu clúster. Esta es una de las razones para elegir Cloud Storage en lugar de HDFS, ya que los datos de este último se quitan cuando se cierra un clúster (a menos que se transfiera a una ubicación persistente antes del apagado).
Registro, supervisión y depuración
¿Qué clase de registro y supervisión hay disponible?
De forma predeterminada, los clústeres de Managed Service para Apache Spark se integran en Monitoring y Logging. Monitoring y Logging facilitan la obtención de información detallada sobre el estado, el rendimiento y el estado de tus clústeres de Managed Service para Apache Spark. Los registros de la aplicación (YARN, Spark, etc.) y del sistema se reenvían a Logging.
¿Cómo puedo ver los registros de Managed Service para Apache Spark?
Puedes ver los registros de Managed Service para Apache Spark de varias maneras. Puedes visitar Logging para ver registros de clústeres agregados en un navegador web. Además, puedes usar la línea de comandos (SSH) para ver registros o supervisar los resultados de la aplicación de manera manual. Por último, los detalles también están disponibles a través de las IU web de aplicaciones de Hadoop, como la interfaz web de YARN.
¿Cómo se pueden supervisar los clústeres?
Los clústeres pueden supervisarse con facilidad a través de Monitoring o la sección de Managed Service para Apache Spark de Cloud de la Google Cloud console. También puedes supervisar tus clústeres a través del acceso a la línea de comandos (SSH) o las interfaces web de las aplicaciones (Spark, YARN, etcétera).
Seguridad y acceso
¿Cómo se mantienen seguros mis datos?
Google Cloud Platform emplea un modelo de seguridad enriquecido, que también se aplica a Managed Service para Apache Spark de Cloud. Managed Service para Apache Spark proporciona mecanismos de autenticación, autorización y encriptación, como SSL, para proteger los datos. Los datos pueden ser encriptados por el usuario en el tránsito de entrada y de salida de un clúster, después de la creación de uno o cuando se envía un trabajo.
¿Cómo puedo controlar el acceso a mi clúster de Managed Service para Apache Spark?
Google Cloud Platform ofrece mecanismos de autenticación que se pueden usar con Managed Service para Apache Spark. El acceso a los clústeres y trabajos de Managed Service para Apache Spark se puede otorgar a los usuarios a nivel del proyecto.
Facturación
¿Cómo se factura Managed Service para Apache Spark?
Managed Service para Apache Spark se factura por segundo y se basa en el tamaño de un clúster y el tiempo que este permanece operativo. En el cálculo del componente de clúster de la tarifa, Managed Service para Apache Spark cobra una tarifa fija según la cantidad de CPU virtuales (vCPU) de un clúster. Esta tasa fija es la misma sin importar el tipo de máquina o el tamaño de los recursos de Compute Engine usados.
¿Se me cobra por otros recursos de Google Cloud?
Sí, ejecutar un clúster de Managed Service para Apache Spark genera cargos por otros recursos de Google Cloud que se usan en el clúster, como Compute Engine y Cloud Storage. Cada artículo se indica por separado en tu factura, para que sepas con exactitud cómo se calculan y asignan tus costos.
¿Hay un tiempo mínimo o máximo para la facturación?
Los cargos de Google Cloud se calculan por segundo, no por hora. Compute Engine tiene un aumento de facturación mínimo de 1 minuto. Por lo tanto, Managed Service para Apache Spark también tiene un incremento de facturación mínimo de 1 minuto.
Disponibilidad
¿Quién puede crear un clúster de Managed Service para Apache Spark?
Managed Service para Apache Spark está disponible de forma general, lo que significa que todos los clientes de Google Cloud Platform pueden usarlo.
¿En qué regiones está disponible Managed Service para Apache Spark?
Managed Service para Apache Spark está disponible en todas las regiones y zonas de la plataforma de Google Cloud.