I provisioner consentono di automatizzare la gestione del ciclo di vita dei cluster durante l'esecuzione di pipeline in diversi ambienti cloud. Creano il cluster di calcolo richiesto prima dell'inizio di un'esecuzione e lo eliminano al termine della pipeline.
Ogni provisioner fornisce impostazioni di configurazione per controllare le proprietà del cluster ed eseguire l'autenticazione con le piattaforme cloud di destinazione. Ad esempio, i provisioner per Managed Service for Apache Spark e Amazon EMR configurano le dimensioni del cluster e le credenziali necessarie per il provisioning dei nodi di calcolo.
Provisioner supportati in Cloud Data Fusion
Cloud Data Fusion supporta i seguenti provisioner:
- Managed Service for Apache Spark
- Un servizio cloud completamente gestito, veloce e facile da usare per l'esecuzione di cluster Apache Spark e Apache Hadoop.
- Amazon Elastic MapReduce (EMR)
- Fornisce un framework Hadoop gestito che elabora grandi quantità di dati su istanze Amazon EC2 scalabili dinamicamente.
- Hadoop remoto
- Esegue job su un cluster Hadoop preesistente, on-premise o nel cloud.