Cluster mit der Google Cloud Console erstellen

Auf dieser Seite erfahren Sie, wie Sie mit der Google Cloud Console einen Managed Service for Apache Spark-Cluster erstellen, einen einfachen Apache Spark-Job im Cluster ausführen und dann die Anzahl der Worker im Cluster ändern.

Hinweis

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  2. Verify that you have the permissions required to complete this guide.

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Dataproc API, if it is not already enabled.

    Roles required to enable APIs

    To enable APIs, you need the serviceusage.services.enable permission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.

    Enable the API

Erforderliche Rollen

Für die Beispiele auf dieser Seite sind bestimmte IAM-Rollen (Identity and Access Management) erforderlich. Je nach Organisationsrichtlinien wurden diese Rollen möglicherweise bereits gewährt. Informationen zum Prüfen von Rollenzuweisungen finden Sie unter Müssen Sie Rollen zuweisen?.

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Nutzerrollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erstellen eines Managed Service for Apache Spark-Clusters benötigen:

Dienstkontorolle

Bitten Sie Ihren Administrator, dem Compute Engine-Standarddienstkonto die folgenden IAM-Rollen für das Projekt zuzuweisen, damit das Compute Engine-Standarddienstkonto die erforderlichen Berechtigungen zum Erstellen eines Managed Service for Apache Spark-Clusters hat:

Cluster erstellen

  1. Rufen Sie im Navigationsmenü der Google Cloud Console unter Infrastruktur die Seite Cluster für Managed Service for Apache Spark auf.

    Zu den Clustern

  2. Klicken Sie auf Cluster erstellen und wählen Sie dann Cluster in Compute Engine aus.

  3. Geben Sie im Feld Clustername example-cluster ein.

  4. Wählen Sie in den Listen Region und Zone eine Region und eine Zone aus.

    Wählen Sie eine Region aus (z. B. us-east1 oder europe-west1), um Ressourcen wie VM-Instanzen und Cloud Storage- und Metadaten-Speicherorte, die von Managed Service for Apache Spark verwendet werden, in der Region zu isolieren. Weitere Informationen finden Sie unter Verfügbare Regionen und Zonen und Clusterregion.

  5. Verwenden Sie für alle anderen Optionen die Standardeinstellungen.

  6. Klicken Sie auf Erstellen, um den Cluster zu erstellen.

    Der neue Cluster wird in einer Liste auf der Seite Cluster angezeigt. Der Status ist Wird bereitgestellt, bis der Cluster einsatzbereit ist. Anschließend ändert sich der Status in Wird ausgeführt. Die Bereitstellung des Clusters kann einige Minuten dauern.

Spark-Job senden

Senden Sie einen Spark-Job, der einen Pi-Wert schätzt:

  1. Klicken Sie im Navigationsmenü von Managed Service for Apache Spark auf Jobs (und Batches) (oder Jobs).

  2. Klicken Sie auf der Seite Jobs auf Job senden und führen Sie dann auf der Seite Job senden die folgenden Schritte aus:

    1. Wählen Sie unter Computing-Typ für Job auswählen die Option Spark on Compute Engine aus.
    2. Im Abschnitt Details zum Clusterjob:
      1. Verwenden Sie im Feld Job-ID die Standardeinstellung oder geben Sie eine ID an, die für Ihr Google Cloud -Projekt eindeutig ist.
      2. Wählen Sie im Menü Cluster die Option example-cluster aus.

    3. Im Abschnitt Dateien und Artefakte:

      1. Wählen Sie unter Jobtyp die Option Spark (Scala/Java) aus.
      2. Wählen Sie unter Treiberkonfiguration die Option Hauptklasse aus und geben Sie im Feld Hauptklasse den Wert org.apache.spark.examples.SparkPi ein.

      3. Geben Sie im Feld JAR-Dateien file:///usr/lib/spark/examples/jars/spark-examples.jar ein. Diese Beispiel-JAR-Datei ist auf dem Cluster vorinstalliert. Geben Sie für benutzerdefinierte Jobs einen Cloud Storage-Pfad an. Weitere Informationen finden Sie unter Job senden.

      4. Geben Sie im Feld Argumente den Wert 1000 ein, um die Anzahl der Aufgaben festzulegen.

      Dabei werden x- und y-Punkte auf einer Koordinatenebene erzeugt, die einen von einem Einheitsquadrat eingeschlossenen Kreis formt. Das Eingabeargument (1000) bestimmt die Anzahl der zu erzeugenden x,y-Paare. Je mehr Paare erzeugt werden, desto größer ist die Genauigkeit der Schätzung. Bei der Schätzung werden Managed Service for Apache Spark-Worker-Knoten verwendet, um die Berechnung zu parallelisieren. Weitere Informationen finden Sie in den folgenden englischsprachigen Artikeln zum Schätzen von Pi mithilfe der Monte-Carlo-Methode und zu JavaSparkPi.java auf GitHub.

    4. Klicken Sie auf Senden.

      Ihr Job wird auf der Seite Jobdetails angezeigt. Der Jobstatus lautet Wird ausgeführt oder Wird gestartet und ändert sich nach dem Senden in Erfolgreich.

      Um Scrollen in der Ausgabe zu vermeiden, klicken Sie auf Zeilenumbruch: Aus. Die Ausgabe sieht etwa so aus:

      Pi is roughly 3.1416759514167594

      Klicken Sie auf den Tab Konfiguration, um die Jobdetails aufzurufen.

Cluster aktualisieren

Aktualisieren Sie Ihren Cluster, indem Sie die Anzahl der Worker-Instanzen ändern:

  1. Klicken Sie im Navigationsmenü von Managed Service for Apache Spark auf Cluster.
  2. Klicken Sie in der Liste der Cluster auf example-cluster.

  3. Klicken Sie auf der Seite Clusterdetails auf den Tab Konfiguration.

    Die Clustereinstellungen werden angezeigt.

  4. Klicken Sie auf  Bearbeiten.

  5. Geben Sie im Feld Worker-Knoten den Wert 5 ein.

  6. Klicken Sie auf Speichern.

Der Cluster wurde aktualisiert. Wenn Sie die Anzahl der Worker-Knoten auf den ursprünglichen Wert reduzieren möchten, gehen Sie genauso vor.

Bereinigen

Mit den folgenden Schritten vermeiden Sie, dass Ihrem Google Cloud -Konto die auf dieser Seite verwendeten Ressourcen in Rechnung gestellt werden:

  1. Klicken Sie zum Löschen des Clusters auf der Seite Clusterdetails für example-cluster auf Löschen.
  2. Klicken Sie auf Löschen, um zu bestätigen, dass Sie den Cluster löschen möchten.

Nächste Schritte