Apache Beam est un modèle unifié Open Source permettant de définir des pipelines de traitement parallèle des données par lots et en streaming. Avant de commencer à utiliser Dataflow, découvrez comment concevoir, créer et tester des pipelines Apache Beam.
Ressources Apache Beam
Sur le site Web d'Apache Beam, vous pouvez trouver de la documentation (en anglais) sur :
Comment concevoir votre pipeline : cette documentation vous montre comment déterminer la structure de votre pipeline, comment choisir les transformations à appliquer à vos données et comment déterminer vos méthodes d'entrée et de sortie.
Comment créer votre pipeline : cette documentation explique comment utiliser les classes du SDK Beam et les étapes nécessaires pour créer un pipeline.
Comment tester votre pipeline : cette documentation présente les bonnes pratiques à adopter pour tester vos pipelines.