자동 VM 선택

workerMachineType 파이프라인 옵션을 사용하여 작업을 특정 머신 유형에 고정하면 리소스 재고 부족으로 인해 지연 또는 작업 실패가 발생할 수 있습니다. 자동 VM 선택은 Compute Engine 인스턴스 유연성을 사용하여 호환되고 사용 가능한 머신 유형의 풀에서 작업자를 자동으로 선택하여 이 문제를 해결합니다. 이렇게 하면 Dataflow 파이프라인이 안정적으로 용량을 확보하여 일관된 성능을 유지하고 중단을 방지할 수 있습니다.

지원되지 않는 구성

파이프라인이 다음 중 하나로 구성된 경우 자동 VM 선택이 사용 중지됩니다.

  • Dataflow Prime이 사용 설정되어 있습니다.
  • min_cpu_platform 파이프라인 옵션이 설정되어 있습니다.
  • Hyperdisk Balanced 디스크 또는 맞춤 프로비저닝된 성능 (IOPS 및 처리량)이 사용됩니다. 이러한 구성으로 시작된 작업은 실패합니다.
  • 컨피덴셜 VM이 사용 설정되어 있습니다.
  • 가속기 (GPU 또는 TPU)가 필요합니다.

또한 자동 VM 선택은 Shuffle Appliance 또는 Streaming Appliance를 사용하는 작업에서 지원되지 않습니다.

자동 VM 선택 사용 설정

자동 VM 선택은 다음 시나리오에서 자동으로 사용 설정됩니다.

  • 가속기 (GPU 또는 TPU)가 필요하지 않은 파이프라인 단계에 min_ram 또는 cpu_count 리소스 힌트를 설정하는 경우. 템플릿 기반 작업에서 리소스 힌트를 사용하는 방법은 파이프라인 리소스 힌트를 참조하세요.

자동 VM 선택 동작

단독으로 또는 조합하여 min_ram 및 cpu_count 리소스 힌트를 구성합니다. 예를 들면 다음과 같습니다.

  1. cpu_count=2만 있는 작업은 n4-standard-2 (vCPU 2개, RAM 8GB), c4-standard-2 (vCPU 2개, RAM 7GB) 및 기타 머신 유형으로 인스턴스를 프로비저닝할 수 있습니다.
  2. cpu_count=4 및 min_ram=16GB가 모두 있는 작업은 n4-standard-4 (vCPU 4개, RAM 16GB), c4-highmem-4 (vCPU 4개, RAM 31GB) 및 기타 머신 유형으로 인스턴스를 프로비저닝할 수 있습니다.

자동 VM 선택은 리소스 확보 가능성을 위해 VM 선택을 최적화합니다. 즉, 자동 VM 선택을 사용하여 세부 조정된 일부 작업의 확보 가능성을 개선하는 동안 성능이 저하될 수 있습니다. 기존 작업의 하위 집합에서 자동 VM 선택을 테스트한 후 점진적으로 더 광범위하게 배포하는 것이 좋습니다. 확보 가능성에 대한 자세한 내용은 Batch 문서의 작업에 대한 리소스 확보 가능성 개선을 참조하세요.

Dataflow는 효율성을 높이기 위해 먼저 4세대 머신 계열 (예: N4 또는 C4)을 사용하려고 시도합니다. 리전에서 4세대 머신을 사용할 수 없거나 할당량이 부족하거나 구성과 호환되지 않는 경우 Dataflow는 용량 지연 없이 작업을 시작할 수 있도록 널리 사용 가능한 2세대 머신 계열 (예: N2 또는 E2)로 자동 대체됩니다.

리소스 힌트 (적합 맞춤)를 사용하여 자동 VM 선택을 사용 설정할 때 pd-ssd 또는 pd-standard와 같은 디스크 유형을 지정하면 Dataflow는 호환되는 2세대 머신 계열만 프로비저닝합니다. 최대 호환성을 보장하고 최신 머신 세대를 사용하려면 디스크 유형을 할당하지 마세요.

Compute Engine 예약

자동 VM 선택과 함께 Compute Engine 예약을 사용하는 경우 다음 사항에 유의하세요.

알려진 문제

자동 VM 선택을 사용할 때는 다음과 같은 알려진 문제에 유의하세요.

예상치 못한 병렬 처리

적합 맞춤과 함께 자동 VM 선택을 사용할 때 작업자 VM에서 CPU 사용률이 낮거나 예상치 못한 병렬 처리가 관찰되면 작업자당 스레드 수가 선택한 머신 유형의 vCPU 수와 일치하도록 자동으로 설정되지 않는 알려진 문제 때문일 수 있습니다.

이 문제를 해결하려면 numberOfWorkerHarnessThreads 파이프라인 옵션을 사용하여 작업자 하네스 스레드 수를 명시적으로 설정하면 됩니다. 이 옵션은 파이프라인의 모든 작업자 풀에 전역적으로 적용됩니다.