Dataflow 문서

제품 문서 읽기

Dataflow는 다양한 데이터 처리 패턴을 실행하는 관리형 서비스입니다. 이 사이트의 문서에서는 서비스 기능 사용 지침을 비롯해 Dataflow를 사용하여 일괄 및 스트리밍 데이터 처리 파이프라인을 배포하는 방법을 보여줍니다.

Apache Beam SDK는 일괄 및 스트리밍 파이프라인을 모두 개발할 수 있는 오픈소스 프로그래밍 모델입니다. Apache Beam 프로그램을 사용하여 파이프라인을 만든 다음 Dataflow 서비스에서 파이프라인을 실행합니다. Apache Beam 문서는 Apache Beam 프로그래밍 모델, SDK, 기타 실행기에 대한 심층적인 개념 정보 및 참조 자료를 제공합니다.

기본 Apache Beam 개념에 대한 내용은 Beam 둘러보기 및 Beam 플레이그라운드를 참고하세요. Dataflow 레시피북 저장소는 바로 실행할 수 있는 자체 파이프라인과 가장 일반적인 Dataflow 사용 사례를 제공합니다.

Apache, Apache Beam, Beam, Beam 로고, Beam firefly 마스코트는 미국 또는 다른 국가에서 사용되는 Apache Software Foundation의 등록 상표입니다.

문서 리소스

빠른 시작과 가이드를 찾고 주요 참조를 검토하며 일반적인 문제에 대한 도움을 받을 수 있습니다.
사용자 주도형 학습, 사용 사례, 참조 아키텍처, 코드 샘플을 통해 Google Cloud 서비스 사용 및 연결 방법의 예시를 살펴보세요.
사용 사례
사용 사례

Dataflow를 사용하면 단일 파이프라인에서 높은 병렬 워크로드를 실행하여 효율성을 높이고 워크플로를 쉽게 관리할 수 있습니다.

스트리밍

사용 사례
사용 사례

Dataflow ML을 사용하면 Dataflow를 사용하여 완전한 머신러닝(ML) 파이프라인을 배포하고 관리할 수 있습니다. ML 모델을 사용하여 일괄 및 스트리밍 파이프라인으로 로컬 및 원격 추론을 수행하세요. 데이터 처리 도구를 사용하여 모델 학습용 데이터를 준비하고 모델 결과를 처리합니다.

ML 스트리밍

사용 사례
사용 사례

웹 스토어에서 BigQuery 및 Bigtable로 데이터를 스트리밍하는 엔드 투 엔드 전자상거래 샘플 애플리케이션을 빌드합니다. 이 샘플 애플리케이션은 스트리밍 데이터 분석 및 실시간 인공지능(AI) 구현을 위한 일반적인 사용 사례 및 권장사항을 보여줍니다.

전자상거래 스트리밍

관련 동영상