Documentação do Dataflow
O Dataflow é um serviço gerido para executar uma grande variedade de padrões de processamento de dados. A documentação neste site mostra-lhe como implementar os seus pipelines de processamento de dados em lote e streaming usando o Dataflow, incluindo instruções para usar as funcionalidades do serviço.
O SDK Apache Beam é um modelo de programação de código aberto que lhe permite desenvolver pipelines de processamento em lote e de streaming. Cria os seus pipelines com um programa Apache Beam e, em seguida, executa-os no serviço Dataflow. A documentação do Apache Beam fornece informações conceptuais detalhadas e material de referência para o modelo de programação, os SDKs e outros executores do Apache Beam.
Para aprender os conceitos básicos do Apache Beam, consulte a Visita guiada ao Beam e o Beam Playground. O repositório Dataflow Cookbook também fornece pipelines autónomos e prontos a serem iniciados e os exemplos de utilização mais comuns do Dataflow.
Recursos de documentação
Guias
Recursos relacionados
Execute cargas de trabalho de HPC altamente paralelas
Com o Dataflow, pode executar as suas cargas de trabalho altamente paralelas num único pipeline, o que melhora a eficiência e facilita a gestão do seu fluxo de trabalho.
Execute a inferência com o Dataflow ML
O Dataflow ML permite-lhe usar o Dataflow para implementar e gerir pipelines de aprendizagem automática (AA) completos. Use modelos de AA para fazer inferência local e remota com pipelines de streaming e em lote. Use ferramentas de processamento de dados para preparar os dados para a preparação de modelos e para processar os resultados dos modelos.
Crie um pipeline de streaming de comércio eletrónico
Crie uma aplicação de exemplo de comércio eletrónico integral que transmita dados de uma loja Web para o BigQuery e o Bigtable. A aplicação de exemplo ilustra exemplos de utilização comuns e práticas recomendadas para a implementação de estatísticas de dados de streaming e inteligência artificial (IA) em tempo real.