O Apache Beam é um modelo unificado de código aberto para definir pipelines de processamento paralelo de dados em lote e de streaming. Antes de começar a usar o Dataflow, compreenda como criar, conceber e testar pipelines do Apache Beam.
Recursos do Apache Beam
No Website do Apache Beam, pode encontrar documentação sobre:
Como estruturar o seu pipeline: mostra como determinar a estrutura do pipeline, como escolher as transformações a aplicar aos dados e como determinar os métodos de entrada e saída.
Como criar o seu pipeline: explica a mecânica da utilização das classes nos SDKs do Beam e os passos necessários para criar um pipeline.
Como testar o seu pipeline: apresenta práticas recomendadas para testar os seus pipelines.