Clústeres de nodo único

Los clústeres de nodo único son clústeres de Managed Service para Apache Spark con un solo nodo. Este nodo único actúa como el nodo principal y el trabajador de tu clúster de Managed Service para Apache Spark. Si bien los clústeres de un solo nodo solo tienen un nodo, la mayoría de los conceptos y las funciones de Managed Service para Apache Spark se siguen aplicando, excepto los que se enumeran a continuación.

Existen varias situaciones en las que los clústeres de Managed Service para Apache Spark de un solo nodo pueden ser útiles, como las siguientes:

  • Probar versiones nuevas de Spark y Hadoop o cualquier otro componente de código abierto
  • Compilar demostraciones de prueba de concepto (PoC)
  • Ciencia de datos básica
  • Procesamiento de datos no críticos de pequeña escala
  • Educación relacionada con el ecosistema de Spark y Hadoop

Semántica del clúster de nodo único

La siguiente semántica se aplica a los clústeres de Managed Service para Apache Spark de un solo nodo:

  • Los clústeres de un solo nodo se configuran de la misma manera que los clústeres de Managed Service para Apache Spark de varios nodos, y se incluyen servicios como HDFS y YARN.
  • Los clústeres de nodo único se consideran como nodos principales para las acciones de inicialización.
  • Los clústeres de nodo único muestran 0 trabajadores, ya que el nodo único actúa como principal y trabajador.
  • Los clústeres de nodo único reciben nombres de host que siguen el patrón clustername-m. Puedes usar este nombre de host para establecer una conexión SSH o una conexión a una IU web en el nodo.
  • Los clústeres de nodo único no se pueden actualizar a clústeres de varios nodos. Una vez creados, los clústeres de nodo único se limitan a un solo nodo. Del mismo modo, los clústeres de varios nodos no se pueden reducir la escala verticalmente a clústeres de un solo nodo.

Limitaciones

  • No se recomienda usar clústeres de nodo único para el procesamiento de datos en paralelo a gran escala. Si excedes los recursos de un clúster de un solo nodo, se recomienda un clúster de Managed Service para Apache Spark de varios nodos.

  • Los clústeres de nodo único no están disponibles con alta disponibilidad, ya que solo hay un nodo en el clúster.

  • Los clústeres de nodo único no pueden usar VM interrumpibles.

Crea un clúster de un solo nodo

Console

  • Abre la página Crear clúster.
  • En la sección Define la forma de tu clúster, selecciona Desarrollo.
  • En Configuración adicional, edita Nodo controlador, desmarca la casilla de verificación Nodo controlador predeterminado igual que el trabajador principal y, luego, confirma o cambia la configuración del nodo controlador.

Comando de gcloud

Puedes crear un clúster de Managed Service para Apache Spark de un solo nodo con la herramienta de línea de comandos de gcloud. Para crear un clúster de un solo nodo, pasa la marca --single-node al comando gcloud dataproc clusters create. 

gcloud dataproc clusters create cluster-name \
    --region=region \
    --single-node \
    ... other args

API de REST

Puedes crear un clúster de nodo único con la API de REST de Dataproc mediante la solicitud clusters.create. Cuando haces esta solicitud, debes:

  1. Agrega la propiedad "dataproc:dataproc.allow.zero.workers":"true" a la SoftwareConfig de la solicitud del clúster.
  2. No envíes valores para workerConfig y secondaryWorkerConfig (consulta ClusterConfig).