Mendesain infrastruktur AI dengan Compute Advisor

Dokumen ini menjelaskan cara merencanakan dan mendesain instance atau cluster GPU Anda dengan memberikan perintah kepada Compute Advisor, antarmuka yang didukung AI dan didukung oleh Gemini. Untuk mempelajari lebih lanjut komponen yang harus Anda konfigurasi sebelum atau saat membuat cluster, lihat Merencanakan dan membuat infrastruktur AI.

Compute Advisor membantu Anda mengevaluasi opsi hardware, memperkirakan biaya deployment, dan melihat konfigurasi yang direkomendasikan untuk cluster Anda. Untuk menyesuaikan rekomendasinya, Compute Advisor mengevaluasi projectGoogle Cloud Anda dengan memeriksa batas kuota, pemesanan yang ada, diskon abonemen (DA), region dan zona default, serta batasan lokasi resource. Dengan menggunakan Compute Advisor untuk membantu perencanaan, Anda dapat mencapai konfigurasi yang optimal untuk workload sebelum membuat atau mengubah cluster.

Batasan

Saat Anda memasukkan perintah ke Compute Advisor di konsol Google Cloud , Anda tidak dapat langsung membuat, mengubah, atau menghapus resource.

Sebelum memulai

Saat menggunakan konsol Google Cloud untuk mengakses layanan dan API Google Cloud , Anda tidak perlu menyiapkan autentikasi.

Peran yang diperlukan

Untuk mendapatkan izin yang diperlukan untuk mengakses dan memasukkan perintah ke Gemini, minta administrator untuk memberi Anda peran IAM Cluster Director Viewer (roles/hypercomputecluster.viewer) pada project. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk mengakses dan memasukkan perintah ke Gemini. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk mengakses dan memasukkan perintah ke Gemini:

  • Untuk melihat daftar cluster: hypercomputecluster.clusters.list

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Mengakses Compute Advisor di konsol Google Cloud

Untuk mengakses Compute Advisor di konsol Google Cloud , selesaikan langkah-langkah berikut:

  1. Di konsol Google Cloud , buka halaman Compute Advisor.

    Buka Compute Advisor

  2. Setelah halaman siap, Anda dapat melihat hal berikut:

    Elemen antarmuka halaman Compute Advisor.

    Elemen UI yang ditampilkan dalam screenshot sebelumnya adalah sebagai berikut:

    • Panel samping histori percakapan: menampilkan percakapan terbaru Anda. Anda dapat berinteraksi dengan panel ini sebagai berikut:

      • Untuk memulai percakapan baru, klik Percakapan baru.

      • Untuk melanjutkan percakapan terbaru, di bagian Percakapan terbaru, klik percakapan.

      • Untuk melihat daftar semua percakapan Anda, klik Lihat semua. Di halaman Histori saya, Anda dapat melihat detail percakapan sebelumnya dan melanjutkannya, atau menghapus percakapan jika tidak lagi diperlukan.

    • Kartu perintah tindakan cepat: sekumpulan kartu yang masing-masing berisi contoh perintah. Jika Anda mengklik kartu, konsol Google Cloud akan otomatis mengisi kotak perintah dengan contoh perintah.

    • Kotak perintah: kolom ini memungkinkan Anda memasukkan dan mengirimkan perintah. Untuk mengirimkan perintah, klik Submit prompt.

Meminta Compute Advisor

Setelah Anda mengirimkan perintah, Compute Advisor akan mulai membuat respons. Panel akan muncul dan konsol Google Cloud akan menampilkan respons terhadap perintah Anda di panel, seperti yang ditunjukkan dalam screenshot berikut:

Respons rekomendasi yang dihasilkan di panel Compute Advisor.

Berdasarkan perintah Anda, panel respons akan menyertakan elemen berikut:

  • Grounding kontekstual: Compute Advisor otomatis mengevaluasi konteks project Anda untuk memberikan rekomendasi yang sangat disesuaikan, termasuk batas kuota, pemesanan yang ada, CUD, region dan zona default Anda, serta batasan lokasi resource apa pun.

  • Cuplikan kode interaktif: Compute Advisor menghasilkan perintah gcloud, metode REST API, atau resource Terraform. Anda dapat menyalin dan menempelkan cuplikan kode ini atau menjalankannya di Cloud Shell.

  • Kanvas visual: Compute Advisor mengatur rekomendasi ke dalam tabel terstruktur dan perbandingan per aspek. Tampilan ini membantu Anda mengevaluasi fitur produk dan pendekatan arsitektur. Panduan ini juga menyediakan rencana penerapan untuk kasus penggunaan Anda.

Bagian berikut menguraikan praktik terbaik untuk menulis perintah, dan contoh perintah yang dapat Anda gunakan sebelum membuat atau mengubah cluster.

Praktik terbaik menulis perintah

Untuk mendapatkan rekomendasi yang paling akurat dan dapat ditindaklanjuti dari Compute Advisor, sebaiknya susun perintah Anda dengan cara yang sama seperti Anda membuat blok kode. Pendekatan ini memandu AI generatif dengan menggunakan deklarasi parameter yang jelas, definisi peran, petunjuk spesifik, dan format output eksplisit.

Saat Anda memasukkan perintah ke Compute Advisor, pertimbangkan praktik terbaik berikut:

  • Fokus pada desain dan perencanaan: sebaiknya jangan meminta Compute Advisor untuk memecahkan masalah error cluster. Untuk mengatasi error ini, lihat Memecahkan masalah pembuatan, pembaruan, dan penghapusan instance komputasi.

  • Tentukan persona atau peran: nyatakan peran atau persona target, seperti admin IT, peneliti AI, atau engineer platform, untuk diadopsi oleh Compute Advisor. Pendekatan ini memandu gaya bahasa, kedalaman, dan tingkat keahlian rekomendasi yang dihasilkan.

  • Berikan petunjuk yang eksplisit dan bernomor: uraikan tujuan Anda menjadi pertanyaan atau tugas yang konkret dan langkah demi langkah. Pendekatan ini menyusun proses penalaran Compute Advisor dan membantu memastikan bahwa Compute Advisor memenuhi semua persyaratan Anda.

  • Tentukan format output tertentu: nyatakan secara eksplisit format rekomendasi yang Anda inginkan, seperti penjelasan panduan, tabel perbandingan Markdown, atau blok kode gcloud yang siap digunakan.

  • Manfaatkan grounding konteks otomatis: Anda tidak perlu menyertakan region atau zona default, kuota yang tersedia, CUD, atau batasan lokasi resource ke dalam perintah Anda. Compute Advisor dapat mengakses informasi ini di project Google Cloud Anda.

  • Menyempurnakan desain secara berulang: Anda dapat mengubah atau memperluas respons yang dihasilkan Compute Advisor dengan mengirimkan perintah baru. Misalnya, Anda dapat meminta asisten untuk menambahkan rekomendasi jaringan ke rencana deployment atau mengubah persyaratan penyimpanan tanpa memulai percakapan baru.

Contoh perintah

Berikut adalah contoh perintah yang dapat Anda gunakan untuk membantu mendesain dan mengoptimalkan cluster:

  • Strategi penempatan dan topologi cluster: untuk menentukan model deployment dan kebijakan penempatan yang optimal untuk workload AI berperforma tinggi, gunakan perintah seperti berikut:

    Act as an AI researcher. I need to design a GPU cluster topology in
    Cluster Director to train a foundation large language model that
    maximizes ML goodput and secures accelerator capacity. Please provide the
    following:
    
    1. A comparison of clustered GPU machine series across available regions.
    2. An explanation of how compact placement policies and workload policies
       reduce network latency and boost goodput.
    3. The optimal configuration for future reservations in
       AI Hypercomputer to secure capacity for this workload.
    
    Format the comparison as a Markdown table, and provide the deployment steps
    as a ready-to-use gcloud code block.
    
  • Model penyediaan dan pengoptimalan biaya: untuk mengevaluasi model penyediaan dan mengurangi biaya batch processing, gunakan perintah seperti berikut:

    Act as an IT administrator. I need to select the most cost-effective
    consumption option to run large fault-tolerant AI batch jobs on clusters in
    Cluster Director without data loss. Please provide the following:
    
    1. A cost and availability comparison of Flex-start VMs against
       Spot VMs for AI workloads.
    
    2. An explanation of how atomic allocation in Flex-start VMs
       provisions all accelerator nodes at the exact same time.
    
    3. A cluster configuration with checkpoint storage to save model state
       before Compute Engine reclaims a Spot VM.
    
    Format the comparison as a Markdown table, and provide the configuration
    steps to complete in the Google Cloud console.
    

Langkah berikutnya