이 문서에서는 Gemini 기반 AI 기반 인터페이스인 Compute Advisor에 프롬프트를 표시하여 GPU 인스턴스 또는 클러스터를 계획하고 설계하는 방법을 설명합니다. 클러스터를 만들기 전이나 만들 때 구성해야 하는 구성요소에 대한 자세한 내용은 AI 인프라 계획 및 만들기를 참조하세요.
Compute Advisor는 하드웨어 옵션을 평가하고, 배포 비용을 추정하고, 클러스터의 권장 구성을 확인하는 데 도움이 됩니다. Compute Advisor는 맞춤 추천을 제공하기 위해 할당량 한도, 기존 예약, 약정 사용 할인(CUD), 기본 리전 및 영역, 리소스 위치 제약 조건을 확인하여Google Cloud 프로젝트를 평가합니다. Compute Advisor를 사용하여 계획을 세우면 클러스터를 만들거나 수정하기 전에 워크로드에 최적의 구성을 얻을 수 있습니다.
제한사항
Google Cloud 콘솔에서 Compute Advisor에 프롬프트를 입력할 때 리소스를 직접 만들거나 수정하거나 삭제할 수 없습니다.
시작하기 전에
Google Cloud 콘솔을 사용하여 Google Cloud 서비스 및 API에 액세스하는 경우 인증을 설정할 필요가 없습니다.
필요한 역할
Gemini에 액세스하고 프롬프트를 입력하는 데 필요한 권한을 얻으려면 관리자에게 프로젝트에 대한 클러스터 디렉터 뷰어(roles/hypercomputecluster.viewer) IAM 역할을 부여해 달라고 요청하세요.
역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.
이 사전 정의된 역할에는 Gemini에 액세스하고 프롬프트를 입력하는 데 필요한 권한이 포함되어 있습니다. 필요한 정확한 권한을 보려면 필수 권한 섹션을 펼치세요.
필수 권한
Gemini에 액세스하고 프롬프트를 입력하려면 다음 권한이 필요합니다.
-
클러스터 목록을 보려면 다음 안내를 따르세요.
hypercomputecluster.clusters.list
커스텀 역할이나 다른 사전 정의된 역할을 사용하여 이 권한을 부여받을 수도 있습니다.
Google Cloud 콘솔에서 Compute Advisor에 액세스
Google Cloud 콘솔에서 Compute Advisor에 액세스하려면 다음 단계를 완료하세요.
Google Cloud 콘솔에서 Compute Advisor 페이지로 이동합니다.
페이지가 준비되면 다음을 볼 수 있습니다.
위 스크린샷에 표시된 UI 요소는 다음과 같습니다.
대화 기록 측면 패널: 최근 채팅을 표시합니다. 다음과 같이 이 패널과 상호작용할 수 있습니다.
새 대화를 시작하려면 새 채팅을 클릭합니다.
최근 대화를 다시 시작하려면 최근 채팅 섹션에서 대화를 클릭합니다.
모든 대화 목록을 보려면 모두 보기를 클릭합니다. 내 기록 페이지에서 이전 대화의 세부정보를 확인하고 다시 시작하거나 더 이상 필요하지 않은 대화를 삭제할 수 있습니다.
빠른 작업 프롬프트 카드: 각각 샘플 프롬프트가 포함된 카드 세트입니다. 카드를 클릭하면 Google Cloud 콘솔이 샘플 프롬프트로 프롬프트 상자를 자동으로 채웁니다.
프롬프트 상자: 이 필드에서 프롬프트를 입력하고 제출할 수 있습니다. 프롬프트를 제출하려면 프롬프트 제출을 클릭합니다.
Compute Advisor에 프롬프트 입력
프롬프트를 제출하면 Compute Advisor가 대답을 생성하기 시작합니다. 창이 표시되고 Google Cloud 콘솔은 다음 스크린샷과 같이 창에 프롬프트에 대한 대답을 표시합니다.
프롬프트에 따라 응답 창에는 다음 요소가 포함됩니다.
컨텍스트 그라운딩: Compute Advisor는 프로젝트 컨텍스트를 자동으로 평가하여 할당량 한도, 기존 예약, CUD, 기본 리전 및 영역, 리소스 위치 제약 조건 등 고도로 맞춤설정된 추천을 제공합니다.
대화형 코드 스니펫: Compute Advisor는 gcloud 명령어, REST API 메서드 또는 Terraform 리소스를 생성합니다. 이러한 코드 스니펫을 복사하여 붙여넣거나 Cloud Shell에서 실행할 수 있습니다.
시각적 캔버스: Compute Advisor는 추천을 구조화된 테이블과 나란히 비교로 구성합니다. 이 뷰는 제품 기능과 아키텍처 접근 방식을 평가하는 데 도움이 됩니다. 또한 사용 사례에 대한 구현 계획도 제공합니다.
다음 섹션에서는 프롬프트 작성 권장사항과 클러스터를 만들거나 수정하기 전에 사용할 수 있는 프롬프트 예시를 간략하게 설명합니다.
프롬프트 권장사항
Compute Advisor에서 가장 정확하고 실행 가능한 추천을 받으려면 코드 블록을 작성하는 것과 동일한 방식으로 프롬프트를 구성하는 것이 좋습니다. 이 접근 방식은 명확한 파라미터 선언, 역할 정의, 구체적인 안내, 명시적인 출력 형식을 사용하여 생성형 AI를 안내합니다.
Compute Advisor에 프롬프트를 입력할 때는 다음 권장사항을 고려하세요.
설계 및 계획에 집중: Compute Advisor에 클러스터 오류 문제 해결을 요청하지 않는 것이 좋습니다. 이러한 오류를 해결하려면 컴퓨팅 인스턴스 생성, 업데이트, 삭제 문제 해결을 참조하세요.
페르소나 또는 역할 지정: Compute Advisor가 채택할 대상 역할 또는 페르소나(예: IT 관리자, AI 연구원, 플랫폼 엔지니어)를 선언합니다. 이 접근 방식은 결과 추천의 어조, 깊이, 전문성 수준을 안내합니다.
명시적이고 번호가 매겨진 지침 제공: 목표를 구체적인 단계별 질문 또는 작업으로 세분화합니다. 이 접근 방식은 Compute Advisor의 추론 프로세스를 구조화하고 Compute Advisor가 모든 요구사항을 해결하도록 도와줍니다.
특정 출력 형식 정의: 단계별 설명, 마크다운 비교 표, 바로 사용할 수 있는 gcloud 코드 블록 등 추천의 형식을 명시적으로 지정합니다.
자동 컨텍스트 그라운딩 활용: 기본 리전 또는 영역, 사용 가능한 할당량, CUD 또는 리소스 위치 제약 조건을 프롬프트에 포함할 필요가 없습니다. Compute Advisor는 Google Cloud 프로젝트에서 이 정보에 액세스할 수 있습니다.
반복적으로 설계 미세 조정: 새 프롬프트를 전송하여 Compute Advisor가 생성한 응답을 수정하거나 확장할 수 있습니다. 예를 들어 새 대화를 시작하지 않고도 어시스턴트에게 배포 계획에 네트워킹 추천을 추가하거나 스토리지 요구사항을 수정하도록 요청할 수 있습니다.
프롬프트 예시
다음은 클러스터를 설계하고 최적화하는 데 사용할 수 있는 프롬프트의 예시입니다.
클러스터 토폴로지 및 광고 게재 전략: 고성능 AI 워크로드에 최적의 배포 모델과 광고 게재 정책을 결정하려면 다음과 같은 프롬프트를 사용합니다.
Act as an AI researcher. I need to design a GPU cluster topology in Cluster Director to train a foundation large language model that maximizes ML goodput and secures accelerator capacity. Please provide the following: 1. A comparison of clustered GPU machine series across available regions. 2. An explanation of how compact placement policies and workload policies reduce network latency and boost goodput. 3. The optimal configuration for future reservations in AI Hypercomputer to secure capacity for this workload. Format the comparison as a Markdown table, and provide the deployment steps as a ready-to-use gcloud code block.프로비저닝 모델 및 비용 최적화: 프로비저닝 모델을 평가하고 일괄 처리 비용을 줄이려면 다음과 같은 프롬프트를 사용합니다.
Act as an IT administrator. I need to select the most cost-effective consumption option to run large fault-tolerant AI batch jobs on clusters in Cluster Director without data loss. Please provide the following: 1. A cost and availability comparison of Flex-start VMs against Spot VMs for AI workloads. 2. An explanation of how atomic allocation in Flex-start VMs provisions all accelerator nodes at the exact same time. 3. A cluster configuration with checkpoint storage to save model state before Compute Engine reclaims a Spot VM. Format the comparison as a Markdown table, and provide the configuration steps to complete in the Google Cloud console.
다음 단계
AI 하이퍼컴퓨터에서 용량과 할당량을 확보하는 방법을 검토하려면 용량 개요를 참조하세요.
가속기 옵션을 비교하고 적절한 GPU 시리즈를 선택하려면 일반 GPU와 클러스터형 GPU 중에서 선택을 참조하세요.
도구를 선택하고 클러스터를 만들려면 배포 옵션 개요를 참조하세요.