일반 GPU와 클러스터링된 GPU 중에서 선택

이 문서에서는 다양한 인공지능(AI), 머신러닝(ML), 고성능 컴퓨팅(HPC) 워크로드에 가장 적합한 가속기, 소비 옵션, 배포 도구에 대한 권장사항을 제공합니다. 이 문서를 사용하여 워크로드에 가장 적합한 배포를 식별할 수 있습니다.

AI, ML, HPC 워크로드의 인프라 핵심 요소에 대한 정보와 권장사항은 다음 문서를 참조하세요.

워크로드 개요

AI 하이퍼컴퓨터 아키텍처는 다음 사용 사례를 지원합니다.

워크로드 설명 추천
파운데이션 모델 사전 학습 여기에는 대규모 데이터 세트를 사용하여 언어 모델을 빌드하는 작업이 포함됩니다. 파운데이션 모델을 사전 학습시킨 결과는 일반적인 작업을 수행하는 데 적합한 새로운 모델입니다.
모델은 크기에 따라 다음과 같이 분류됩니다.
  • 프런티어 모델: 수천억에서 수조 개 이상의 파라미터에 걸쳐 있는 ML 모델입니다. 여기에는 Gemini와 같은 대규모 언어 모델(LLM)이 포함됩니다.
  • 대규모 모델: 수십억에서 수천억 개 이상의 파라미터에 걸쳐 있는 ML 모델입니다.
 모델 사전 학습에 대한 권장사항을 참조하세요.
세부 조정 여기에는 학습된 모델을 가져와 특수 데이터 세트나 기타 기법을 사용하여 특정 작업을 수행하도록 조정하는 작업이 포함됩니다. 파인 튜닝은 일반적으로 대규모 모델에서 수행됩니다. thought 모델 미세 조정 권장사항을 참조하세요.
추론 또는 서빙 여기에는 학습되거나 미세 조정된 모델을 가져와 사용자 또는 애플리케이션에서 사용할 수 있도록 하는 작업이 포함됩니다.
추론 워크로드는 모델 크기에 따라 다음과 같이 분류됩니다.
  • 여러 호스트에서 파운데이션 모델 추론: 수천억에서 수조 개 이상의 파라미터에 걸쳐 학습된 ML 모델로 추론을 수행합니다. 이러한 추론 워크로드의 경우 컴퓨팅 부하가 여러 호스트 머신에 분산됩니다.
  • 단일 호스트 파운데이션 모델 추론: 수백억에서 수천억 개의 파라미터에 걸쳐 학습된 ML 모델로 추론을 수행합니다. 이러한 추론 워크로드의 경우 컴퓨팅 부하가 단일 호스트 머신으로 제한됩니다.
  • 대규모 모델 추론: 수백억에서 수천억 개의 파라미터에 걸쳐 학습되거나 미세 조정된 ML 모델로 추론을 수행합니다.
 추론을 위한 권장사항을 참조하세요.
소형 또는 중형 모델을 위한 ML 여기에는 일반적으로 더 전문적인 작업을 위해 크기와 복잡성이 더 작은 ML 모델을 학습시키고 서빙하는 작업이 포함됩니다. 중소형 모델의 ML 권장사항을 참고하세요.
HPC 이는 단일 워크스테이션, 서버 또는 컴퓨터보다 높은 성능을 얻기 위해 컴퓨팅 리소스를 집계하는 방식입니다. HPC는 학술 연구, 과학, 설계, 시뮬레이션, 비즈니스 인텔리전스 분야의 문제를 해결하는 데 사용됩니다. HPC 권장사항 참조

모델 사전 학습에 대한 권장사항

파운데이션 모델을 사전 학습시키기 위해 대규모 가속기 클러스터가 대량의 데이터를 지속적으로 읽습니다. 이러한 가속기는 정방향 및 역방향 전달을 통해 가중치를 조정하여 데이터에서 학습합니다. 이러한 학습 작업은 한 번에 몇 주 또는 몇 달 동안 실행됩니다.

다음 섹션에서는 파운데이션 모델을 사전 학습시키는 데 사용할 것을 권장하는 가속기와 소비 옵션을 간략히 설명합니다.

추천 가속기

Google Cloud에서 파운데이션 모델을 사전 학습시키려면 A5X(NVIDIA Vera Rubin), A4X Max(NVIDIA GB300), A4X(NVIDIA GB200), A4(NVIDIA B200), A3 Ultra(NVIDIA H200 141GB), A3 Mega(NVIDIA H100 80GB) 또는 A3 High(NVIDIA H100 80GB) 가속기 최적화 머신 유형을 사용하고 조정자를 사용하여 클러스터를 배포하는 것이 좋습니다.

이러한 가속기 클러스터를 배포하려면 Cluster Director 또는 Cluster Toolkit을 사용하는 것이 좋습니다. 자세한 내용은 다음 표에서 선택한 머신 유형에 해당하는 클러스터 배포 가이드를 참조하세요.

워크로드 추천 클러스터 배포 가이드
머신 유형 조정자
파운데이션 모델 사전 학습
  • A5X (NVIDIA Vera Rubin)
  • A4X Max (NVIDIA GB300)
  • A4X (NVIDIA GB200)
  • A4 (NVIDIA B200)
 GKE Cluster Toolkit으로 AI 최적화 GKE 클러스터 만들기
Slurm
대규모 모델 학습 A3 Ultra (NVIDIA H200 141GB) GKE Cluster Toolkit으로 AI 최적화 GKE 클러스터 만들기
Slurm
대규모 모델 학습
  • A3 Mega (NVIDIA H100 80GB)
  • A3 High (NVIDIA H100 80GB)
 GKE 일반 모드 클러스터에서 GPU 네트워크 대역폭 극대화
Slurm

권장 소비 옵션

대규모 가속기 클러스터를 확보하는 데 높은 수준의 확신을 가지려면 예약을 사용하는 것이 좋습니다. 특히 예약된 리소스 비용을 최소화하려면 약정 사용 할인을 받을 수 있을 만큼 충분히 긴 예약 기간을 요청하는 것이 좋습니다. 소비 옵션에 대한 자세한 내용은 소비 옵션 선택을 참조하세요.

모델 파인 튜닝에 대한 권장사항

대규모 파운데이션 모델을 미세 조정하기 위해 더 작은 가속기 클러스터가 적당한 양의 데이터를 읽습니다. 이러한 가속기는 특정 작업을 수행하도록 모델을 조정합니다. 이러한 파인 튜닝 작업은 며칠 또는 몇 주 동안 실행됩니다.

다음 섹션에서는 모델을 미세 조정할 때 사용할 수 있는 권장 가속기와 소비 옵션을 간략히 설명합니다.

Google Cloud에서 모델을 미세 조정하려면 A3 Ultra(NVIDIA H200 141GB), A3 Mega(NVIDIA H100 80GB) 또는 A3 High(NVIDIA H100 80GB) 가속기 최적화 머신 유형을 사용하고 조정자를 사용하여 클러스터를 배포하는 것이 좋습니다.

이러한 가속기 클러스터를 배포하려면 Cluster Director 또는 Cluster Toolkit을 사용하는 것이 좋습니다. 자세한 내용은 다음 표에서 선택한 머신 유형에 해당하는 클러스터 배포 가이드를 참조하세요.

워크로드 추천 클러스터 배포 가이드
머신 유형 조정자
대규모 모델 파인 튜닝 A3 Ultra (NVIDIA H200 141GB) GKE Cluster Toolkit으로 AI 최적화 GKE 클러스터 만들기
Slurm
대규모 모델 파인 튜닝
  • A3 Mega (NVIDIA H100 80GB)
  • A3 High (NVIDIA H100 80GB)
 GKE 일반 모드 클러스터에서 GPU 네트워크 대역폭 극대화
Slurm

권장 소비 옵션

파인 튜닝 워크로드의 경우 캘린더 모드의 미래용 예약을 사용하여 리소스를 프로비저닝합니다. 소비 옵션에 대한 자세한 내용은 소비 옵션 선택을 참조하세요.

추론을 위한 권장사항

다음 섹션에서는 추론을 수행할 때 사용할 권장 가속기 및 소비 옵션을 간략하게 설명합니다.

추천 가속기

추론에 권장되는 가속기는 멀티 호스트 프런티어 또는 대규모 모델 추론을 수행하는지 아니면 단일 호스트 프런티어 추론을 수행하는지에 따라 달라집니다.

권장 가속기(멀티 호스트)

Google Cloud에서 멀티 호스트 프런티어 또는 대규모 모델 추론을 수행하려면 A5X(NVIDIA Vera Rubin), A4X Max(NVIDIA GB300), A4X(NVIDIA GB200), A4(NVIDIA B200), A3 Ultra(NVIDIA H200 141GB), A3 Mega(NVIDIA H100 80GB) 또는 A3 High(NVIDIA H100 80GB) 가속기 최적화 머신 유형을 사용하고 조정자를 사용하여 인스턴스를 배포합니다. 이러한 가속기 클러스터를 배포하려면 Cluster Director 또는 Cluster Toolkit을 사용하는 것이 좋습니다. 이 표에는 권장되는 각 머신 유형의 클러스터 배포 가이드 링크가 나와 있습니다.

워크로드 추천 클러스터 배포 가이드
머신 유형 조정자
멀티 호스트 최첨단 추론
  • A5X (NVIDIA Vera Rubin)
  • A4X Max (NVIDIA GB300)
  • A4X (NVIDIA GB200)
  • A4 (NVIDIA B200)
 GKE Cluster Toolkit으로 AI 최적화 GKE 클러스터 만들기
Slurm
대규모 모델 추론 A3 Ultra (NVIDIA H200 141GB) GKE Cluster Toolkit으로 AI 최적화 GKE 클러스터 만들기
Slurm
대규모 모델 추론
  • A3 Mega (NVIDIA H100 80GB)
  • A3 High (NVIDIA H100 80GB)
 GKE 일반 모드 클러스터에서 GPU 네트워크 대역폭 극대화
Slurm

권장 가속기(단일 호스트)

이 표에는 단일 호스트 프런티어 추론을 수행하는 데 사용하는 것이 좋은 가속기가 요약되어 있습니다. 이 표에는 추천되는 각 머신 유형에 대한 VM 배포 가이드 링크가 나와 있습니다.

워크로드 추천 VM 배포 가이드
머신 유형 조정자
단일 호스트 최첨단 및 주류 추론
  • A4 (NVIDIA B200)
  • A3 Ultra (NVIDIA H200 141GB)
 해당 사항 없음 A4 또는 A3 Ultra 인스턴스 만들기
  • A3 High (NVIDIA H100 80GB)
  • A3 Edge (NVIDIA H100 80GB)
 A3 High 또는 A3 Edge 인스턴스 만들기
A2 (NVIDIA A100) A2 인스턴스 만들기
G4 (NVIDIA RTX PRO 6000) G4 인스턴스 만들기
G2 (NVIDIA L4) G2 인스턴스 만들기
N1(NVIDIA T4 또는 V100) N1 인스턴스 만들기

권장 소비 옵션

추론의 경우 장기 실행 예약 또는 캘린더 모드의 미래용 예약을 사용합니다. 사용 옵션에 대한 자세한 내용은 사용 옵션 선택을 참조하세요.

소형 또는 중형 모델에 대한 권장사항

중소 규모 모델이 포함된 ML 워크로드의 경우 가격과 성능 간의 최적의 균형을 달성하는 것이 주요 고려사항입니다.

추천 가속기

다음 표에서는 중소 규모 모델 ML 워크로드에 사용할 수 있는 권장 가속기를 간략하게 설명합니다.

워크로드 추천 VM 배포 가이드
머신 유형 조정자
중소형 모델을 위한 ML A3 Edge (NVIDIA H100 80GB) 해당 사항 없음 A3 Edge 인스턴스 만들기
A2 (NVIDIA A100) A2 인스턴스 만들기
G4 (NVIDIA RTX PRO 6000) G4 인스턴스 만들기
G2 (NVIDIA L4) G2 인스턴스 만들기
N1(NVIDIA T4 또는 V100) N1 인스턴스 만들기

HPC 권장사항

HPC 워크로드의 경우 가속기 최적화 머신 시리즈 또는 컴퓨팅 최적화 머신 시리즈가 모두 적합합니다. 가속기 최적화 머신 시리즈를 사용하는 경우 가장 적합한 항목은 GPU로 오프로드해야 하는 컴퓨팅 부하에 따라 달라집니다. HPC 워크로드에 대한 자세한 권장사항 목록은 HPC 워크로드 실행을 위한 권장사항을 참조하세요.

추천 요약

다음 표에는 각 워크로드에 권장되는 가속기와 소비 옵션이 요약되어 있습니다.

리소스 추천
모델 사전 학습
머신 계열 A5X(NVIDIA Vera Rubin), A4X Max(NVIDIA GB300), A4X(NVIDIA GB200), A4(NVIDIA B200), A3 Ultra(NVIDIA H200 141GB), A3 Mega(NVIDIA H100 80GB) 또는 A3 High(NVIDIA H100 80GB) 가속기 최적화 머신 유형 중 하나를 사용합니다.
소비 옵션 용량 블록(A5X, A4X Max, A4X)에 대한 표준 미래용 예약 또는 표준 미래용 예약 사용
모델 미세 조정
머신 계열 A3 Ultra(NVIDIA H200 141GB), A3 Mega(NVIDIA H100 80GB) 또는 A3 High(NVIDIA H100 80GB) 가속기 최적화 머신 유형 사용
소비 옵션 '표준 미래용 예약 사용
추론
머신 계열 A5X(NVIDIA Vera Rubin), A4X Max(NVIDIA GB300), A4X(NVIDIA GB200), A4(NVIDIA B200), A3 Ultra(NVIDIA H200 141GB), A3 Mega(NVIDIA H100 80GB), A3 High(NVIDIA H100 80GB), A3 Edge(NVIDIA H100 80GB), A2(NVIDIA A100), G4(NVIDIA RTX PRO 6000), G2(NVIDIA L4) 또는 N1(NVIDIA T4 또는 V100) 머신 유형 중 하나를 사용합니다.
소비 옵션 예약, 온디맨드 또는 스팟 사용(스팟 또는 온디맨드를 지원하지 않는 A5X, A4X Max, A4X 제외)
중소형 모델을 위한 ML
머신 계열 A3 Edge(NVIDIA H100 80GB), A2(NVIDIA A100), G4(NVIDIA RTX PRO 6000), G2(NVIDIA L4) 또는 N1(NVIDIA T4 또는 V100) 머신 유형 중 하나를 사용합니다.
소비 옵션 주문형, 스팟 또는 표준 예약 사용
스토리지 Cloud Storage FUSE 사용
HPC
HPC 워크로드 실행을 위한 권장사항의 요약 섹션을 참조하세요.

다음 단계