Mit Provisionern können Sie die Verwaltung des Clusterlebenszyklus automatisieren, wenn Sie Pipelines in verschiedenen Cloud-Umgebungen ausführen. Sie erstellen den erforderlichen Compute-Cluster vor Beginn einer Ausführung und entfernen ihn nach Abschluss der Pipeline.
Jeder Provisioner bietet Konfigurationseinstellungen zum Steuern von Clustereigenschaften und zum Authentifizieren bei Ziel-Cloud-Plattformen. Provisioner für Managed Service for Apache Spark und Amazon EMR konfigurieren beispielsweise die Clustergröße und die Anmeldedaten, die zum Bereitstellen von Compute-Knoten erforderlich sind.
Unterstützte Provisioner in Cloud Data Fusion
Cloud Data Fusion unterstützt die folgenden Provisioner:
- Managed Service for Apache Spark
- Ein schneller, nutzerfreundlicher und vollständig verwalteter Cloud-Dienst zum Ausführen von Apache Spark- und Apache Hadoop-Clustern.
- Amazon Elastic MapReduce (EMR)
- Bietet ein verwaltetes Hadoop-Framework, das große Datenmengen auf dynamisch skalierbaren Amazon EC2-Instanzen verarbeitet.
- Remote Hadoop
- Führt Jobs auf einem bereits vorhandenen Hadoop-Cluster aus, entweder lokal oder in der Cloud.