GPU 가속기 정보

AI 하이퍼컴퓨터는 까다로운 인공지능(AI) 및 머신러닝(ML) 워크로드에 최적화된 수직 통합 인프라를 제공합니다. 고성능 NVIDIA GPU는 시스템이 수명 주기 이벤트 및 유지보수를 처리하는 방식에 따라 일반 GPU와 클러스터형 GPU로 분류됩니다.

워크로드에 최적의 인프라 카테고리를 식별하려면 가속기 인프라 선택을 참조하세요.

일반 GPU

일반 GPU는 표준 Compute Engine 및 Google Kubernetes Engine(GKE) API를 사용하여 Google Cloud의 컨트롤 플레인과 직접 통합함으로써 독립적인 컴퓨팅 단위로 관리됩니다.

일반 GPU에는 다음 머신 시리즈가 포함됩니다.

  • GPU 1개, 2개 또는 4개(NVIDIA H100)가 있는 A3 High: 8-GPU 동기화 클러스터가 필요하지 않은 표준 학습 및 추론 워크로드에 최적화되어 있습니다.
  • A3 Edge(NVIDIA H100): 표준 VPC 네트워킹을 사용하여 높은 처리량으로 여러 호스트에 분산된 추론에 최적화되어 있습니다.
  • A2(NVIDIA A100): 고성능 단일 노드 서빙 및 소규모 미세 조정에 최적화되어 있습니다.
  • G4(NVIDIA RTX PRO 6000): 비용 효율적인 보급형 추론 및 그래픽 워크로드에 최적화되어 있습니다.
  • G2(NVIDIA L4): 주류 추론 및 RAG에 최적화되어 있습니다.
  • N1(NVIDIA T4 또는 V100): 고성능 상호 연결보다 비용을 우선시하는 엔트리 레벨 추론 및 연구 태스크에 최적화되어 있습니다.

클러스터형 GPU

클러스터형 GPU는 Cluster Director를 사용하여 상호 연결된 수천 개의 가속기로 구성된 긴밀하게 결합된 단일 시스템으로 관리됩니다.

클러스터형 GPU에는 다음 머신 시리즈가 포함됩니다.

  • A5X(NVIDIA Vera Rubin): NVIDIA Vera Rubin 슈퍼칩을 사용하여 파운데이션 모델의 엑사스케일 학습, 추론 모델의 추론, 베어메탈에서의 고성능 컴퓨팅을 위해 설계되었습니다.
  • A4X Max(NVIDIA GB300): NVIDIA GB300 Grace Blackwell Ultra Superchips를 사용하여 베어메탈 엑사스케일 학습 및 고성능 컴퓨팅을 위해 설계되었습니다.
  • A4X(NVIDIA GB200) 및 A4(NVIDIA B200): 파운데이션 모델 학습 및 엑사스케일 파운데이션 모델 학습을 위해 설계되었습니다.
  • A3 Ultra(NVIDIA H200), A3 Mega(NVIDIA H100), A3 High(NVIDIA H100 GPU 8개): 대규모 데이터 테이블이 포함된 대규모 분산 학습 및 멀티 호스트 추론에 최적화되어 있습니다.

GPU 성능 고려사항

워크로드 성능을 평가하고 최적화하려면 CUDA 코어 및 Tensor Core 사용률과 같은 하드웨어 수준 측정항목을 추적하면 됩니다. 리소스를 모니터링하고 일반 환경과 클러스터 환경 모두에서 성능을 평가하려면 다음을 참조하세요.

  • 모니터링 대시보드: 개별 독립형 인스턴스 또는 조정된 클러스터 Fleet의 실시간 GPU 사용률 및 메모리 사용량을 추적합니다.
  • 굿풋 측정항목 레시피: 가속기가 유용한 연산을 수행하는 시간의 비율을 시스템 오버헤드와 비교하여 측정합니다. 이는 클러스터링된 하드웨어에서 대규모 분산 학습을 수행할 때 적극 권장됩니다.

다음 단계