Provisionneurs dans Cloud Data Fusion

Les approvisionneurs vous permettent d'automatiser la gestion du cycle de vie des clusters lorsque vous exécutez des pipelines dans différents environnements cloud. Ils créent le cluster de calcul requis avant le début d'une exécution et le suppriment une fois le pipeline terminé.

Chaque approvisionneur fournit des paramètres de configuration pour contrôler les propriétés du cluster et s'authentifier auprès des plates-formes cloud cibles. Par exemple, les approvisionneurs de Managed Service pour Apache Spark et Amazon EMR configurent la taille du cluster et les identifiants requis pour provisionner des nœuds de calcul.

Approvisionneurs compatibles dans Cloud Data Fusion

Cloud Data Fusion est compatible avec les approvisionneurs suivants :

Managed Service pour Apache Spark
Service cloud rapide, facile à utiliser et entièrement géré permettant d'exécuter des clusters Apache Spark et Apache Hadoop.
Amazon Elastic MapReduce (EMR)
Fournit un framework Hadoop géré qui traite de grandes quantités de données sur des instances Amazon EC2 à scalabilité dynamique.
Hadoop à distance
Exécute des jobs sur un cluster Hadoop préexistant, sur site ou dans le cloud.