Membuat instance G2 atau G4

Dokumen ini menjelaskan cara membuat instance virtual machine (VM) yang menggunakan jenis mesin dari seri mesin G2 atau G4. Jenis mesin yang dioptimalkan akselerator seri G ini cocok untuk menjalankan aplikasi yang membutuhkan banyak grafis dan inferensi machine learning (ML) yang hemat biaya.

Anda dapat membuat VM ini sebagai VM on-demand. Untuk menurunkan biaya, Anda juga dapat membuat Spot VM G2 dan G4, atau membuat VM Flex-start G2. Untuk mempelajari lebih lanjut cara membuat VM dengan GPU terpasang, lihat Ringkasan pembuatan instance dengan GPU terpasang.

Untuk workload yang tidak memerlukan resource GPU penuh, guna mengoptimalkan biaya, Anda dapat membuat VM yang memiliki GPU pecahan (vGPU) yang terpasang untuk memungkinkan beberapa workload mengakses satu GPU fisik.

Untuk membuat beberapa VM G2 atau G4, Anda dapat menggunakan salah satu opsi berikut:

Sebelum memulai

  • Untuk meninjau batasan dan langkah-langkah prasyarat tambahan untuk membuat instance dengan GPU yang terpasang, seperti memilih OS image dan memeriksa kuota GPU, lihat Ringkasan pembuatan instance dengan GPU yang terpasang.
  • Siapkan autentikasi jika Anda belum melakukannya. Autentikasi memverifikasi identitas Anda untuk mengakses layanan Google Cloud dan API. Untuk menjalankan kode atau contoh dari lingkungan pengembangan lokal, Anda dapat melakukan autentikasi ke Compute Engine dengan memilih salah satu opsi berikut:

    Pilih tab untuk melihat bagaimana Anda berencana menggunakan contoh di halaman ini:

    Konsol

    Saat menggunakan konsol Google Cloud untuk mengakses layanan dan API Google Cloud , Anda tidak perlu menyiapkan autentikasi.

    gcloud

    1. Instal Google Cloud CLI, lalu login ke gcloud CLI dengan identitas gabungan Anda. Setelah login, inisialisasi Google Cloud CLI dengan menjalankan perintah berikut: 

      gcloud init
  • Tetapkan region dan zona default.

    • REST

    Untuk menggunakan contoh REST API di halaman ini dalam lingkungan pengembangan lokal, gunakan kredensial yang Anda berikan ke gcloud CLI.

      Instal Google Cloud CLI, lalu login ke gcloud CLI dengan identitas gabungan Anda.

    Untuk mengetahui informasi selengkapnya, lihat Melakukan autentikasi untuk menggunakan REST dalam dokumentasi autentikasi Google Cloud .

Peran yang diperlukan

Untuk mendapatkan izin yang diperlukan untuk membuat VM, minta administrator untuk memberi Anda peran IAM Compute Instance Admin (v1) (roles/compute.instanceAdmin.v1) di project. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk membuat VM. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk membuat VM:

  • compute.instances.create pada project
  • Untuk menggunakan image kustom guna membuat VM: compute.images.useReadOnly pada image
  • Untuk menggunakan snapshot guna membuat VM: compute.snapshots.useReadOnly pada snapshot
  • Untuk menggunakan template instance guna membuat VM: compute.instanceTemplates.useReadOnly pada template instance
  • Untuk menentukan subnet bagi VM Anda: compute.subnetworks.use pada project atau pada subnet yang dipilih
  • Untuk menentukan alamat IP statis bagi VM: compute.addresses.use pada project
  • Untuk menetapkan alamat IP eksternal ke VM saat menggunakan jaringan VPC: compute.subnetworks.useExternalIp pada project atau pada subnet yang dipilih
  • Untuk menetapkan jaringan lama ke VM: compute.networks.use pada project
  • Untuk menetapkan alamat IP eksternal ke VM saat menggunakan jaringan lama: compute.networks.useExternalIp pada project
  • Untuk menetapkan metadata instance VM untuk VM: compute.instances.setMetadata pada project
  • Untuk menetapkan tag bagi VM: compute.instances.setTags pada VM
  • Untuk menetapkan label bagi VM: compute.instances.setLabels pada VM
  • Untuk menetapkan akun layanan yang akan digunakan VM: compute.instances.setServiceAccount pada VM
  • Untuk membuat disk baru bagi VM: compute.disks.create pada project
  • Untuk memasang disk yang ada dalam mode hanya baca atau baca-tulis: compute.disks.use pada disk
  • Untuk memasang disk yang ada dalam mode hanya baca: compute.disks.useReadOnly pada disk

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Membuat instance yang telah memasang GPU

Anda dapat membuat instance yang dioptimalkan akselerator G2 atau G4 menggunakan konsol Google Cloud , Google Cloud CLI, atau REST.

Konsol

  1. Di konsol Google Cloud , buka halaman Create an instance.

    Buka halaman Buat instance

  2. Di kolom Name, masukkan nama unik untuk instance Anda. Lihat Konvensi penamaan resource.

  3. Pilih region dan zona tempat jenis mesin GPU ini tersedia. Lihat region dan zona GPU.

  4. Di bagian jenis mesin, pilih GPUs.

    1. Dalam daftar GPU type, pilih jenis GPU.

      • Untuk instance G2, pilih NVIDIA L4
      • Untuk instance G4, pilih NVIDIA RTX PRO 6000

    2. Dalam daftar Number of GPU, pilih jumlah GPU.

      • Untuk instance G4, konsol akan otomatis memilih jenis mesin yang sesuai berdasarkan jumlah GPU yang dipilih.

      • Untuk instance G2, tinjau hal berikut:

        • Jika memilih satu GPU, Anda dapat memilih dari serangkaian jenis mesin dengan jumlah vCPU dan memori yang telah ditetapkan dan sesuai dengan workload Anda.
        • Jika Anda memilih dua GPU atau lebih, konsol akan otomatis memilih jenis mesin yang sesuai berdasarkan jumlah GPU yang dipilih.

        Untuk instance G2, Anda juga dapat menentukan jenis mesin kustom. Untuk menentukan jumlah vCPU dan jumlah memori untuk instance, tarik penggeser atau masukkan nilai di kotak teks. Konsol akan menampilkan perkiraan biaya untuk instance saat Anda mengubah jumlah vCPU dan memori.

    3. Opsional: Seri mesin G2 dan G4 mendukung NVIDIA RTX Virtual Workstations (vWS) untuk workload grafis. Jika Anda berencana menjalankan workload yang intensif grafis di instance Anda, pilih Enable Virtual Workstation (NVIDIA GRID).

  5. Konfigurasikan boot disk sebagai berikut:

    1. Di bagian OS and storage, klik Change. Tindakan ini akan membuka halaman Boot disk configuration.

    2. Di halaman Boot disk configuration, lakukan langkah berikut:

      1. Pada tab Public image, pilih image Compute Engine yang didukung atau Deep Learning VM Image.
      2. Tentukan ukuran boot disk minimal 40 GiB.
      3. Untuk mengonfirmasi opsi boot disk, klik Select.

  6. Opsional: Tambahkan SSD Lokal. SSD Lokal dapat digunakan untuk scratch disk cepat atau untuk memasukkan data ke GPU sekaligus mencegah bottleneck I/O. Untuk menambahkan SSD Lokal ke instance Anda, selesaikan langkah-langkah berikut:

    1. Di bagian OS and storage, klik Add local SSD.
    2. Untuk Interface, pilih NVMe.
    3. Di Disk capacity, pilih jumlah SSD Lokal yang ingin Anda pasang. Untuk mengetahui jumlah maksimum disk SSD Lokal per instance, lihat batas seri mesin untuk SSD Lokal.

  7. Opsional: Untuk mencapai bandwidth jaringan yang lebih tinggi untuk instance g4-standard-384, konfigurasikan beberapa antarmuka jaringan. Anda dapat mengonfigurasi hingga dua antarmuka jaringan. Konfigurasi ini membuat instance g4-standard-384 dengan antarmuka jaringan ganda (2x 200 Gbps). Di bagian Networking, selesaikan langkah-langkah berikut:

    1. Luaskan antarmuka jaringan default.
    2. Tentukan Network dan Subnetwork untuk antarmuka pertama Anda.
    3. Untuk Network interface card, pilih gVNIC.

    4. Klik Add network interface untuk menambahkan antarmuka kedua. Konfigurasikan antarmuka jaringan kedua sebagai berikut:

      1. Pilih Network dan Subnetwork VPC yang berbeda. Setiap antarmuka jaringan harus berada dalam jaringan VPC yang unik.
      2. Untuk Network interface card, pilih gVNIC.

  8. Opsional: Konfigurasikan model penyediaan yang berbeda untuk menurunkan biaya Anda. Di bagian Advanced options, di bagian VM provisioning model, pilih salah satu opsi berikut:

    • (Khusus G2) Flex-start: untuk workload berdurasi singkat yang dapat mentoleransi waktu mulai yang fleksibel. Untuk mengetahui informasi selengkapnya, lihat Tentang Flex-start VM.

    • Spot: untuk workload fault-tolerant yang dapat di-preempt. Untuk mengetahui informasi selengkapnya, silakan membaca Spot VM.

  9. Opsional: Dalam daftar On VM termination, pilih apa yang terjadi saat Compute Engine melakukan preempt terhadap Spot VM atau Flex-start VM mencapai akhir durasi operasinya:

    • Untuk menghentikan VM selama preemption, pilih Hentikan (default).
    • Untuk menghapus VM selama preemption, pilih Hapus.

  10. Untuk membuat dan memulai VM, klik Create.

gcloud

Untuk membuat dan memulai instance, gunakan perintah gcloud compute instances create. Perintah berikut menyertakan flag yang diperlukan.

  gcloud compute instances create VM_NAME \
      --machine-type=MACHINE_TYPE \
      --zone=ZONE \
      --boot-disk-size=DISK_SIZE \
      --image=IMAGE \
      --image-project=IMAGE_PROJECT \
      --maintenance-policy=TERMINATE \
      --restart-on-failure

Ganti kode berikut:

  • VM_NAME: nama untuk instance baru.

  • MACHINE_TYPE : jenis mesin yang Anda pilih. Pilih dari salah satu opsi berikut:

    • Jenis mesin G4.
    • Jenis mesin G2. Jenis mesin G2 juga mendukung memori kustom. Memori harus kelipatan dari 1024 MB dan dalam rentang memori yang didukung. Misalnya, untuk membuat instance dengan 4 vCPU dan memori 19 GB, tentukan --machine-type=g2-custom-4-19456.
  • ZONE: zona untuk instance. Zona ini harus mendukung model GPU yang Anda pilih.
  • DISK_SIZE: ukuran boot disk dalam GiB. Tentukan ukuran boot disk minimal 40 GiB.
  • IMAGE: image sistem operasi yang mendukung GPU. Untuk menggunakan image terbaru dalam kelompok image, ganti flag --image dengan flag --image-family dan tetapkan nilainya ke kelompok image yang mendukung GPU. Misalnya: --image-family=rocky-linux-8-optimized-gcp.
    Anda juga dapat menentukan image kustom atau Deep Learning VM Image.
  • IMAGE_PROJECT: project image Compute Engine yang mencakup image OS tersebut. Jika menggunakan image kustom atau Deep Learning VM Image, tentukan project tempat image tersebut berada.

Flag opsional

Untuk mengonfigurasi instance lebih lanjut agar memenuhi kebutuhan workload atau sistem operasi, sertakan satu atau beberapa flag berikut saat Anda menjalankan perintah gcloud compute instances create.

Fitur Deskripsi
Model penyediaan Menetapkan model penyediaan untuk instance. Anda dapat menentukan STANDARD, SPOT, atau FLEX_START. Jika Anda menentukan FLEX_START, Anda harus menentukan flag tambahan dalam perintah untuk membuat instance. Jika Anda tidak menentukan model penyediaan, Compute Engine akan menetapkan nilainya ke STANDARD. Untuk mengetahui informasi selengkapnya, lihat Model penyediaan instance Compute Engine. 
--provisioning-model=PROVISIONING_MODEL
Workstation virtual Menentukan NVIDIA RTX Virtual Workstations (vWs) untuk workload grafis. 
--accelerator=type=VWS_ACCELERATOR_TYPE,count=VWS_ACCELERATOR_COUNT

Ganti kode berikut:

  • Untuk VWS_ACCELERATOR_TYPE, pilih salah satu opsi berikut:
    • Untuk instance G4, tentukan nvidia-rtx-pro-6000-vws
    • Untuk instance G2, tentukan nvidia-l4-vws
  • Untuk VWS_ACCELERATOR_COUNT, tentukan jumlah GPU virtual yang Anda butuhkan.
SSD Lokal Memasang satu atau beberapa SSD Lokal ke instance Anda. SSD Lokal dapat digunakan untuk scratch disk cepat atau untuk memasukkan data ke GPU sekaligus mencegah bottleneck I/O. 
    --local-ssd=interface=nvme \
    --local-ssd=interface=nvme \
    --local-ssd=interface=nvme ...
 Untuk mengetahui jumlah maksimum disk SSD Lokal yang dapat Anda pasang per instance VM, lihat Batas SSD Lokal.
Antarmuka jaringan Memasang beberapa antarmuka jaringan ke instance Anda. Untuk instance g4-standard-384, Anda dapat memasang hingga dua antarmuka jaringan. Anda dapat menggunakan flag ini untuk membuat instance dengan antarmuka jaringan ganda (2x 200 Gbps). Setiap antarmuka jaringan harus berada dalam jaringan VPC yang unik. 
   --network-interface=network=VPC_NAME_1,subnet=SUBNET_NAME_1,nic-type=GVNIC \
   --network-interface=network=VPC_NAME_2,subnet=SUBNET_NAME_2,nic-type=GVNIC

Antarmuka jaringan ganda hanya didukung pada jenis mesin g4-standard-384.

Ganti kode berikut:

  • VPC_NAME: nama jaringan VPC Anda.
  • SUBNET_NAME: nama subnet yang merupakan bagian dari jaringan VPC yang ditentukan.
Kebijakan penempatan Mengontrol penempatan instance Anda dalam zona. Anda dapat menentukan kebijakan rapat untuk meminimalkan latensi jaringan di seluruh instance G2, atau kebijakan penyebaran untuk meningkatkan ketahanan instance G4 atau G2 terhadap gangguan khusus zona. 
   --resource-policies=POLICY_NAME

Ganti POLICY_NAME dengan nama kebijakan penempatan Anda. Anda hanya dapat membuat instance di region yang sama dengan kebijakan.

REST

Kirim permintaan POST ke metode instances.insert. Karena instance dengan GPU tidak dapat melakukan migrasi langsung, tetapkan kolom onHostMaintenance ke TERMINATE. Metode berikut menyertakan kolom yang diperlukan untuk isi permintaan.

POST https://compute./compute/v1/projects/PROJECT_ID/zones/ZONE/instances

{
   "machineType":"projects/PROJECT_ID/zones/ZONE/machineTypes/MACHINE_TYPE",
   "disks":[
      {
         "type":"projects/PROJECT_ID/zones/ZONE/diskTypes/hyperdisk-balanced",
         "initializeParams":{
            "diskSizeGb":"DISK_SIZE",
            "sourceImage":"SOURCE_IMAGE_URI"
         },
         "boot":true
      }
   ],
   "name":"VM_NAME",
   "networkInterfaces":[
      {
         "network":"projects/PROJECT_ID/global/networks/default"
      }
   ],
   "scheduling":{
      "onHostMaintenance": "TERMINATE",
      "automaticRestart": true
   }
}

Ganti kode berikut:

  • VM_NAME: nama untuk instance baru.
  • PROJECT_ID: ID project Anda.
  • ZONE: zona untuk instance. Zona ini harus mendukung model GPU yang Anda pilih.
  • MACHINE_TYPE : jenis mesin yang Anda pilih. Pilih salah satu opsi berikut:
    • Jenis mesin G4.
    • Jenis mesin G2. Jenis mesin G2 juga mendukung memori kustom. Memori harus kelipatan dari 1024 MB dan dalam rentang memori yang didukung. Misalnya, nama jenis mesin untuk instance dengan 4 vCPU dan memori 19 GB adalah g2-custom-4-19456.
  • SOURCE_IMAGE_URI: URI untuk image atau kelompok image tertentu yang ingin Anda gunakan. Contoh:
    • Gambar spesifik: "sourceImage": "projects/rocky-linux-cloud/global/images/rocky-linux-8-optimized-gcp-v20220719"
    • Kelompok image: "sourceImage": "projects/rocky-linux-cloud/global/images/family/rocky-linux-8-optimized-gcp"
    Saat Anda menentukan kelompok image, Compute Engine akan membuat instance dari OS image terbaru yang masih digunakan dalam kelompok tersebut. Untuk mengetahui informasi selengkapnya tentang kapan harus menggunakan kelompok image, baca Praktik terbaik kelompok image.
  • DISK_SIZE: ukuran boot disk dalam GiB. Tentukan ukuran boot disk minimal 40 GiB.

Kolom opsional

Untuk mengonfigurasi instance lebih lanjut agar memenuhi kebutuhan workload atau sistem operasi, sertakan satu atau beberapa flag berikut saat Anda menjalankan metode instances.insert.

Fitur Deskripsi
Model penyediaan Untuk menurunkan biaya, Anda dapat menentukan model penyediaan yang berbeda dengan menambahkan kolom "provisioningModel": "PROVISIONING_MODEL" ke objek scheduling dalam permintaan Anda. Untuk mengetahui informasi selengkapnya, lihat Model penyediaan instance Compute Engine. 
    "scheduling":
     {
       "onHostMaintenance": "TERMINATE",
       "provisioningModel": "PROVISIONING_MODEL"
     }

Ganti PROVISIONING_MODEL dengan salah satu dari yang berikut ini:

  • STANDARD: Instance standar. Ini adalah nilai defaultnya.
  • SPOT: Spot VM. Jika Anda membuat Spot VM, kolom onHostMaintenance dan automaticRestart akan diganti. Spot VM memiliki diskon besar, tetapi Compute Engine dapat melakukan preemption kapan saja untuk mengklaim kembali kapasitas.
  • FLEX_START: VM Flex-start. Flex-start VM berjalan hingga tujuh hari dan dapat membantu Anda memperoleh resource dengan permintaan tinggi seperti GPU dengan harga diskon. Jika membuat Flex-start VM, Anda harus menentukan kolom tambahan dalam permintaan Anda. Untuk mengetahui informasi selengkapnya, lihat Membuat Flex-start VM.
Workstation virtual Menentukan NVIDIA RTX Virtual Workstations (vWS) untuk workload grafis. 
   "guestAccelerators":
     [
       {
         "acceleratorCount": VWS_ACCELERATOR_COUNT,
         "acceleratorType": "projects/PROJECT_ID/zones/ZONE/acceleratorTypes/VWS_ACCELERATOR_TYPE"
       }
     ]

Ganti kode berikut:

  • Untuk VWS_ACCELERATOR_TYPE, pilih salah satu opsi berikut:
    • Untuk instance G4, tentukan nvidia-rtx-pro-6000-vws
    • Untuk instance G2, tentukan nvidia-l4-vws
  • Untuk VWS_ACCELERATOR_COUNT, tentukan jumlah GPU virtual yang Anda butuhkan.
SSD Lokal Memasang satu atau beberapa SSD Lokal ke instance Anda. SSD Lokal dapat digunakan untuk scratch disk cepat atau untuk memasukkan data ke GPU sekaligus mencegah bottleneck I/O. 
   {
     "type": "SCRATCH",
     "autoDelete": true,
     "initializeParams": {
       "diskType": "projects/PROJECT_ID/zones/ZONE/diskTypes/local-nvme-ssd"
     }
   }
Untuk mengetahui jumlah maksimum disk SSD Lokal yang dapat Anda pasang per instance VM, lihat Batas SSD Lokal.
Antarmuka jaringan Memasang beberapa antarmuka jaringan ke instance Anda. Untuk instance g4-standard-384, Anda dapat memasang hingga dua antarmuka jaringan. Tindakan ini akan membuat instance dengan antarmuka jaringan ganda (2x 200 Gbps). Setiap antarmuka jaringan harus berada dalam jaringan VPC yang unik. 
   "networkInterfaces":
   [
     {
       "network": "projects/PROJECT_ID/global/networks/VPC_NAME_1",
       "subnetwork": "projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME_1",
       "nicType": "GVNIC"
     },
     {
       "network": "projects/PROJECT_ID/global/networks/VPC_NAME_2",
       "subnetwork": "projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME_2",
       "nicType": "GVNIC"
     }
   ]

Antarmuka jaringan ganda hanya didukung pada jenis mesin g4-standard-384.

Ganti kode berikut:

  • VPC_NAME_1 dan VPC_NAME_2: nama jaringan VPC Anda.
  • SUBNET_NAME: nama subnet yang merupakan bagian dari jaringan VPC yang ditentukan.
Kebijakan penempatan Mengontrol penempatan instance Anda dalam zona. Anda dapat menentukan kebijakan rapat untuk meminimalkan latensi jaringan di seluruh instance G2, atau kebijakan penyebaran untuk meningkatkan ketahanan instance G4 atau G2 terhadap gangguan khusus zona. 
   "resourcePolicies": [
     "projects/PROJECT_ID/regions/REGION/resourcePolicies/POLICY_NAME"
   ]

Ganti kode berikut:

  • REGION: region tempat kebijakan penempatan Anda berada. Anda hanya dapat membuat instance di region yang sama dengan kebijakan.
  • POLICY_NAME: nama kebijakan penempatan Anda.

Menginstal driver

Setelah membuat instance, Anda harus menginstal driver untuk instance agar dapat menggunakan GPU. Driver yang perlu Anda instal bergantung pada apakah Anda mengaktifkan NVIDIA RTX Virtual Workstation (vWS) untuk workload grafis saat membuat instance.

Menginstal driver vGPU untuk GPU pecahan

Untuk instance G4 yang memiliki kurang dari satu GPU terpasang, setelah membuat instance, Anda harus menginstal driver vGPU tertentu di instance tersebut, yang terhubung ke driver host mesin fisik. Untuk mengetahui petunjuknya, lihat menginstal driver vGPU (VM pecahan).

(Opsional) Mode Multi-Instance GPU (khusus G4)

Mode Multi-Instance GPU (MIG) adalah fitur yang dapat Anda aktifkan di GPU NVIDIA yang didukung.

Setelah membuat instance G4, Anda dapat mengaktifkan mode Multi-Instance GPU (MIG) di satu GPU NVIDIA RTX PRO 6000 yang terpasang ke mesin Anda. Dengan mengaktifkan mode MIG, satu GPU dipartisi menjadi hingga tujuh instance GPU independen. Setiap instance berjalan secara bersamaan, masing-masing dengan memori, cache, dan multiprosesor streaming sendiri. Kemudian, Anda dapat menjalankan berbagai workload di instance GPU ini secara paralel. Hal ini berbeda dengan penggunaan jenis mesin G4 yang memiliki GPU pecahan yang terpasang, di mana beberapa workload berbagi akses ke satu GPU fisik melalui partisi pecahan (vGPU).

Untuk mengetahui informasi selengkapnya tentang penggunaan GPU Multi-Instance, lihat Memulai MIG dalam dokumentasi NVIDIA.

Apa langkah selanjutnya?