Optionale Ranger-Komponente für Managed Service for Apache Spark

Mit der optionalen Komponente Apache Ranger können Sie Berechtigungen und Prüfungen für die Hadoop-Verwaltungsplattform in Managed Service for Apache Spark-Clustern verwalten. Wenn Sie diese Komponente während der Clustererstellung installieren, sind der Ranger-admin-Server und die Web-UI auf dem ersten Masterknoten des Clusters an Port 6080 verfügbar.

Weitere Informationen zu verwandten Aufgaben und Anleitungen finden Sie unter Ranger mit Kerberos verwenden, Ranger-Schema sichern und wiederherstellen und Best Practices für die Verwendung von Apache Ranger in Managed Service for Apache Spark.

Komponente installieren

Installieren Sie die Komponente, wenn Sie einen Managed Service for Apache Spark-Cluster erstellen. Komponenten können Clustern hinzugefügt werden, die mit Version 1.3 und höher von Managed Service for Apache Spark erstellt wurden. Für die Ranger-Komponente muss die Solr-Komponente installiert werden.

Informationen zu den Komponentenversionen, die in den einzelnen Managed Service for Apache Spark-Image-Releases enthalten sind, finden Sie unter Unterstützte Managed Service for Apache Spark-Versionen.

Installationsschritte:

  1. Richten Sie Ihr Ranger-admin-Passwort ein:

    1. Weisen Sie dem Dienstkonto des Clusters die Rolle Cloud Key Management Service CryptoKey-Verschlüsseler/Entschlüsseler zu. Standardmäßig wird das Clusterdienstkonto als Compute Engine-Standarddienstkonto festgelegt, das folgende Form hat: 
      project-number-compute@
      Sie können beim Erstellen des Clusters ein anderes Clusterdienstkonto angeben.
      1. Beispiel: Weisen Sie dem Compute Engine-Standarddienstkonto die Rolle "Cloud KMS CryptoKey-Verschlüsseler/Entschlüsseler" zu: 
        gcloud projects add-iam-policy-binding project-id \
    --member=serviceAccount:project-number-compute@ \
    --role=roles/cloudkms.cryptoKeyDecrypter
    2. Verschlüsseln Sie Ihr Ranger-admin-Passwort mit einem Key Management Service (KMS)-Schlüssel. Bei Clustern mit Image-Versionen vor 2.2 muss das Passwort mindestens 8 Zeichen lang sein und mindestens ein alphabetisches und ein numerisches Zeichen enthalten. Bei Clustern mit Image-Version 2.2 und höher muss das Passwort mindestens 8 Zeichen lang sein und mindestens einen Großbuchstaben, einen Kleinbuchstaben und eine Ziffer enthalten.
      1. Beispiel:
        1. Schlüsselbund erstellen: 
          gcloud kms keyrings create my-keyring --location=global
        2. Erstellen Sie den Schlüssel: 
          gcloud kms keys create my-key \
    --location=global \
    --keyring=my-keyring \
    --purpose=encryption
        3. Verschlüsseln Sie das Passwort des Ranger-Nutzers admin: 
          echo 'my-ranger-admin-password' | \
  gcloud kms encrypt \
    --location=global \
    --keyring=my-keyring \
    --key=my-key \
    --plaintext-file=- \
    --ciphertext-file=admin-password.encrypted
    3. Laden Sie das verschlüsselte Passwort in einen Cloud Storage-Bucket in Ihrem Projekt hoch.
      1. Beispiel:
        gcloud storage cp admin-password.encrypted gs://my-bucket

  2. Cluster erstellen

    1. Wenn Sie die Ranger-Komponente installieren, muss auch die Solr-Komponente installiert werden.
      1. Die Ranger-Komponente benötigt die Solr-Komponente, um ihre Audit-Logs zu speichern und abzufragen, die standardmäßig HDFS als Speicher verwenden. Diese HDFS-Daten werden gelöscht, wenn der Cluster gelöscht wird. Wenn Sie die Solr-Komponente so konfigurieren möchten, dass Daten, einschließlich der Ranger-Audit-Logs, in Cloud Storage gespeichert werden, verwenden Sie beim Erstellen des Clusters das Clusterattribut dataproc:solr.gcs.path=gs://<bucket>. Cloud Storage-Daten bleiben nach dem Löschen des Clusters erhalten.
    2. Übergeben Sie die Cloud Storage-URIs für den KMS-Schlüssel und das Passwort an den Befehl zur Clustererstellung, indem Sie die Clusterattribute dataproc:ranger.kms.key.uri und dataproc:ranger.admin.password.uri festlegen.
    3. Optional können Sie das Passwort des Ranger-Datenbanknutzers admin über einen verschlüsselten Cloud Storage-Datei-URI übergeben, indem Sie die Clustereigenschaft dataproc:ranger.db.admin.password.uri festlegen.

    4. Standardmäßig verwendet die Ranger-Komponente die MySql-Datenbankinstanz, die auf dem ersten Masterknoten des Clusters ausgeführt wird. Wenn Sie die Ranger-Datenbank nach dem Löschen des Clusters beibehalten möchten, können Sie den Cluster so konfigurieren, dass er eine externe Cloud SQL-Instanz verwendet. So verwenden Sie eine externe Cloud SQL-Instanz:

      1. Vor der Clustererstellung müssen Sie die Cloud SQL-Instanz konfigurieren, um das Datenbank-Flag log_bin_trust_function_creators zu aktivieren, indem Sie es auf on setzen. Dadurch können die Ranger-Schema-Setupscripts während der Clustererstellung ausgeführt werden. Nachdem der Cluster erfolgreich erstellt wurde, können Sie dieses Flag auf off zurücksetzen.
      2. Legen Sie das Clusterattribut dataproc:ranger.cloud-sql.instance.connection.name auf die Cloud SQL-Instanz fest.
      3. Legen Sie das Clusterattribut dataproc:ranger.cloud-sql.root.password.uri auf den Cloud Storage-URI des mit dem KMS-Schlüssel verschlüsselten Root-Passworts der Cloud SQL-Instanz fest.
      4. Legen Sie das Clusterattribut dataproc:ranger.cloud-sql.use-private-ip fest, um anzugeben, ob die Verbindung zur Cloud SQL-Instanz über eine private IP-Adresse erfolgt.

      Wenn Sie eine externe Cloud SQL-Instanz verwenden, stellt die Ranger-Komponente über den Cloud SQL Auth-Proxy eine Verbindung zur Cloud SQL-Instanz her. So verwenden Sie den Proxy:

      1. Legen Sie den sqlservice.admin-API-Bereich beim Erstellen des Clusters fest (siehe Anfragen mit OAuth 2.0 autorisieren). Fügen Sie bei Verwendung des gcloud dataproc cluster create-Befehls den --scopes=default,sql-admin-Parameter hinzu.
      2. Aktivieren Sie in Ihrem Projekt die SQL Admin API.
      3. Das Cluster-Dienstkonto muss die Rolle Cloud SQL-Bearbeiter haben.
      4. Da der Cloud SQL Auth-Proxy auf dem Masterknoten ausgehende Verbindungen zur Cloud SQL-Instanz über Port 3307 herstellt, müssen ausgehende TCP-Verbindungen vom Masterknoten zur Cloud SQL-Instanz über Port 3307 zulässig sein. Weitere Informationen finden Sie unter Funktionsweise des Cloud SQL Auth-Proxys.

    Google Cloud Console

    1. Öffnen Sie in der Google Cloud Console die Seite Cluster erstellen.
    2. Klicken Sie auf Zusätzliche Konfiguration, um den Bereich zu maximieren.
    3. Bearbeiten Sie Optionale Komponenten.
    4. Klicken Sie im daraufhin geöffneten Bereich die Kästchen für Ranger und Solr an und klicken Sie dann auf Speichern.

    gcloud-CLI

    Wenn Sie einen Managed Service for Apache Spark-Cluster erstellen möchten, der die Ranger-Komponente enthält, verwenden Sie den Befehl gcloud dataproc clusters create cluster-name mit dem Flag --optional-components.

    gcloud dataproc clusters create cluster-name \
    --optional-components=SOLR,RANGER \
    --region=region \
    --enable-component-gateway \
    --properties="dataproc:ranger.kms.key.uri=projects/project-id/locations/global/keyRings/my-keyring/cryptoKeys/my-key,dataproc:ranger.admin.password.uri=gs://my-bucket/admin-password.encrypted" \
    ... other flags

    REST API

    Geben Sie die Ranger- und Solr-Komponenten im Feld SoftwareConfig.Component als Teil einer Dataproc API-Anfrage clusters.create an. Außerdem müssen Sie die folgenden Cluster-Attribute im Feld SoftwareConfig.Component.properties festlegen:

    1. dataproc:ranger.kms.key.uri: "projects/project-id/locations/global/keyRings/my-keyring/cryptoKeys/my-key"
    2. dataproc:ranger.admin.password.uri : "gs://my-bucket/admin-password.encrypted"

Klicken Sie auf den Tab Weboberflächen. Klicken Sie unter Component Gateway auf Ranger, um die Ranger-Weboberfläche zu öffnen. Melden Sie sich mit dem Ranger-Administratornutzernamen (z. B. „admin“) und dem Passwort an.

Ranger-Administrator-Logs

Ranger-admin-Logs sind in Logging als ranger-admin-root-Logs verfügbar.