Membuat dan menjalankan tugas yang menggunakan GPU

Dokumen ini menjelaskan cara membuat dan menjalankan tugas yang menggunakan unit pemrosesan grafis (GPU). Untuk mempelajari lebih lanjut fitur dan batasan GPU, lihat Tentang GPU dalam dokumentasi Compute Engine.

Saat membuat tugas Batch, Anda dapat menggunakan GPU secara opsional untuk mempercepat workload tertentu. Kasus penggunaan umum untuk tugas yang menggunakan GPU mencakup pemrosesan data intensif dan workload kecerdasan buatan (AI) seperti machine learning (ML). Atau, Anda dapat mempercepat workload AI dan ML dengan menggunakan TPU.

Sebelum memulai

  1. Jika belum pernah menggunakan Batch, baca Mulai menggunakan Batch dan aktifkan Batch dengan menyelesaikan prasyarat untuk project dan pengguna.

  2. Untuk mendapatkan izin yang Anda perlukan untuk membuat tugas, minta administrator untuk memberi Anda peran IAM berikut:

    Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

    Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Membuat tugas yang menggunakan GPU

Untuk membuat tugas yang menggunakan GPU, lakukan hal berikut:

  1. Rencanakan konfigurasi untuk tugas yang menggunakan GPU.
  2. Buat tugas dengan persyaratan dan metode yang Anda identifikasi. Untuk mengetahui contoh cara membuat tugas menggunakan opsi yang direkomendasikan, lihat Membuat tugas yang menggunakan GPU dalam dokumen ini.

Merencanakan konfigurasi untuk tugas yang menggunakan GPU

Sebelum membuat tugas yang menggunakan GPU, rencanakan persyaratan konfigurasi tugas seperti yang dijelaskan di bagian berikut:

  1. Memilih jenis mesin GPU dan opsi pemakaian
  2. Menginstal driver GPU
  3. Menentukan resource VM yang kompatibel

Langkah 1: Pilih jenis mesin GPU dan opsi pemakaian

Persyaratan tugas bervariasi berdasarkan jenis mesin GPU dan opsi pemakaian yang Anda inginkan, dan opsi untuk masing-masingnya mungkin saling bergantung.

Untuk memilih jenis mesin GPU dan opsi pemakaian untuk tugas Anda, selesaikan langkah-langkah berikut:

  1. Identifikasi dan pilih prioritas Anda:

    • Jika Anda ingin memprioritaskan performa dan harga dasar, lihat bagian Memilih jenis mesin GPU dalam dokumen ini.
    • Jika Anda ingin memprioritaskan ketersediaan resource atau diskon, lihat bagian Memilih opsi konsumsi dalam dokumen ini.

  2. Tentukan pilihan yang tersisa berdasarkan apa yang kompatibel dengan pilihan pertama Anda.

    1. Untuk mengidentifikasi opsi yang kompatibel dengan pilihan pertama Anda, lihat Ketersediaan opsi konsumsi berdasarkan jenis mesin dalam dokumentasi Compute Engine.

    2. Lihat bagian yang tersisa untuk Memilih opsi pemakaian atau Memilih jenis mesin GPU.

Memilih jenis mesin GPU

Untuk memilih jenis mesin GPU untuk tugas dan memahami persyaratan tugasnya, selesaikan langkah-langkah berikut:

  1. Pilih jenis mesin GPU: Untuk meninjau jenis mesin GPU yang tersedia (kombinasi yang valid dari jenis GPU, jumlah GPU, dan jenis mesin (vCPU dan memori)) serta kasus penggunaan yang direkomendasikan, lihat Jenis mesin GPU dan Kelompok mesin yang dioptimalkan untuk akselerator dalam dokumentasi Compute Engine.

  2. Memahami persyaratan tugas untuk jenis mesin GPU Anda: Kolom yang diperlukan untuk tugas guna menentukan jenis mesin GPU bervariasi berdasarkan kategori dalam tabel berikut:

    Jenis mesin GPU dan persyaratan tugasnya

    GPU untuk VM yang dioptimalkan akselerator: VM dengan jenis mesin dari kelompok mesin yang dioptimalkan akselerator memiliki jenis dan jumlah GPU tertentu yang terpasang secara otomatis.

    Untuk menggunakan GPU pada VM yang dioptimalkan untuk akselerator, sebaiknya tentukan jenis mesin. Setiap jenis mesin yang dioptimalkan akselerator hanya mendukung jenis dan jumlah GPU tertentu, sehingga secara fungsional setara, baik Anda menentukan atau tidak menentukan nilai tersebut selain jenis mesin yang dioptimalkan akselerator.

    Secara khusus, Batch juga mendukung penentuan hanya jenis dan jumlah GPU untuk VM yang dioptimalkan untuk akselerator, tetapi opsi vCPU dan memori yang dihasilkan sering kali sangat terbatas. Oleh karena itu, sebaiknya Anda memverifikasi bahwa opsi vCPU dan memori yang tersedia kompatibel dengan persyaratan tugas dari tugas tersebut.

    GPU untuk VM N1: GPU ini mengharuskan Anda menentukan jenis dan jumlah yang akan dipasang ke setiap VM dan harus dipasang ke VM dengan jenis mesin dari seri mesin N1.

    Untuk menggunakan GPU pada VM N1, sebaiknya tentukan setidaknya jenis GPU dan jumlah GPU. Pastikan kombinasi nilai cocok dengan salah satu opsi GPU yang valid untuk jenis mesin N1. Opsi vCPU dan memori untuk VM N1 yang menggunakan jenis dan jumlah GPU tertentu cukup fleksibel. Kecuali jika Anda membuat tugas menggunakan konsol Google Cloud , Anda dapat mengizinkan Batch memilih jenis mesin secara otomatis yang memenuhi persyaratan tugas.
Pilih opsi pemakaian

Bagian ini merangkum cara memilih opsi pemakaian untuk tugas dan persyaratan tugas untuk setiap opsi.

Opsi konsumsi yang tersedia untuk Batch dan persyaratan tugasnya dijelaskan dalam tabel berikut. Tabel ini mencantumkan opsi konsumsi berdasarkan kasus penggunaannya: dari ketersediaan tertinggi hingga terendah. Pastikan opsi pemakaian yang Anda pilih juga memenuhi persyaratan Anda untuk harga, waktu proses, dan dukungan jenis mesin. Untuk mengetahui informasi selengkapnya tentang cara memilih opsi konsumsi, lihat juga Meningkatkan ketersediaan resource, dokumentasi Compute Engine untuk model penyediaan, dan dokumentasi AI Hypercomputer untuk opsi konsumsi.

Opsi pemakaian dan persyaratan tugasnya

Pemesanan

  • Kasus penggunaan: Sebaiknya gunakan pemesanan untuk tugas jika Anda menginginkan tingkat jaminan ketersediaan resource yang sangat tinggi dan tidak dapat menggunakan pemesanan mode kalender, atau jika Anda sudah memiliki pemesanan yang mungkin tidak digunakan.

  • Detail: Setelah dibuat, pemesanan akan dikenai biaya VM yang ditentukan dengan harga yang sama seperti menjalankan VM hingga Anda menghapus pemesanan. VM yang menggunakan pemesanan tidak dikenai biaya terpisah, tetapi pemesanan dikenai biaya terlepas dari penggunaan.

    Pelajari lebih lanjut pemesanan di dokumentasi Compute Engine.

Batch menggunakan pemesanan untuk tugas yang dapat menggunakan VM yang dipesan dan tidak digunakan. Untuk mengetahui informasi selengkapnya tentang persyaratan tugas untuk menggunakan pemesanan, lihat halaman Memastikan ketersediaan resource menggunakan pemesanan VM.

Pemesanan mode kalender

  • Kasus penggunaan: Sebaiknya gunakan pemesanan mode kalender untuk tugas jika Anda ingin menggunakan jenis mesin GPU yang mendukung pemesanan mode kalender dan memerlukan tingkat jaminan ketersediaan resource yang sangat tinggi selama minimal 1 hari dan hingga 90 hari.

  • Detail: Sebelum membuat tugas, Anda harus meminta atau mengidentifikasi pemesanan mode kalender yang dapat Anda gunakan. Jika Compute Engine memenuhi permintaan pemesanan untuk masa mendatang dalam mode Calendar, pemesanan mode Calendar yang dibuat otomatis akan dikenai biaya yang sama dengan menjalankan VM yang ditentukan selama seluruh periode pemesanan dengan harga Dynamic Workload Scheduler, yang menawarkan diskon hingga 53% dari harga on-demand. Setelah mengidentifikasi pemesanan mode kalender yang dibuat otomatis yang dapat Anda gunakan, membuat tugas yang menggunakan pemesanan mode kalender sangat mirip dengan membuat tugas yang menggunakan pemesanan.

    Pelajari lebih lanjut pemesanan mode kalender di dokumentasi Compute Engine.

Batch menggunakan pemesanan mode kalender untuk tugas yang melakukan semua hal berikut:

Flex-start VM

  • Kasus penggunaan: Sebaiknya gunakan Flex-start VM jika tugas Anda dapat menoleransi ketersediaan upaya terbaik dengan imbalan harga diskon dan waktu hingga 7 hari untuk menyelesaikan eksekusi.

    Dibandingkan dengan VM on-demand dan Spot, VM Flex-start dapat memudahkan Anda mengakses banyak resource GPU secara bersamaan. Misalnya, Flex-start VM dapat membantu penjadwalan tugas dengan mengurangi penundaan atau masalah yang disebabkan oleh ketidaktersediaan resource.

  • Detail: Jika permintaan untuk membuat tugas yang menggunakan VM Flex-start terpenuhi, VM akan dikenai biaya sesuai harga Dynamic Workload Scheduler, yang menawarkan diskon hingga 53% dari harga on-demand.

    Pelajari lebih lanjut Flex-start VM di dokumentasi Compute Engine.

Batch menggunakan Flex-start VM untuk tugas yang melakukan semua hal berikut:

Sesuai permintaan

  • Kasus penggunaan: On-demand cepat dan mudah untuk dicoba, sehingga menjadi opsi konsumsi default untuk sebagian besar tugas.1 Namun, kami tidak merekomendasikan on-demand jika opsi konsumsi lain lebih sesuai dengan prioritas Anda atau jika Anda berulang kali mengalami masalah dengan ketersediaan resource.

  • Detail: On-demand biasanya merupakan cara default untuk mengakses VM Compute Engine. On-demand memungkinkan Anda mengakses resource (jika tersedia) saat diminta. Resource tidak akan dihapus hingga tugas selesai atau batas waktu proses tercapai.

Batch menggunakan on-demand untuk sebagian besar tugas secara default. Jika Anda ingin memastikan bahwa tugas menggunakan on-demand, lakukan semua hal berikut:1

1Pengecualian: Untuk tugas yang menggunakan seri mesin A3, perilaku defaultnya unik, dan sebaiknya Anda tidak menggunakan on-demand dan tidak membiarkan kolom provisioningModel tidak ditentukan; sebagai gantinya, gunakan persyaratan tugas untuk Flex-start VM. Penggunaan on-demand tidak direkomendasikan untuk seri mesin A3 karena ketersediaan resource yang rendah. Oleh karena itu, jika tugas menggunakan seri mesin A3, memblokir pemesanan, dan memiliki kolom provisioningModel yang tidak ditentukan atau ditetapkan ke STANDARD, opsi konsumsi defaultnya unik: Perilakunya mirip dengan VM Flex-start, yang membatasi waktu proses hingga 7 hari; namun, hal ini tidak direkomendasikan karena tugas ini tidak menerima diskon dari harga Dynamic Workload Scheduler. Jika tugas Anda dengan VM A3 dapat menoleransi batas waktu proses selama 7 hari, sebaiknya gunakan VM Flex-start, bukan on-demand. Jika tidak, Anda tidak dapat memastikan bahwa tugas dengan VM A3 menggunakan on-demand kecuali jika Anda menetapkan provisioningModel ke STANDARD dan memverifikasi secara manual bahwa tugas tidak dapat menggunakan pemesanan, tanpa menetapkan kolom reservation ke NO_RESERVATION.

Spot VM

  • Kasus penggunaan: Sebaiknya gunakan Spot VM untuk mengurangi biaya workload fault-tolerant.

  • Detail: Jika permintaan untuk membuat tugas yang menggunakan Spot VM terpenuhi, VM akan dikenai biaya sesuai harga Spot VM, yang dapat sering berubah dan mungkin memberikan diskon terbesar, hingga 91% dari harga on-demand. Namun, Spot VM mungkin tidak selalu tersedia dan dapat di-preempt kapan saja.

    Pelajari lebih lanjut Spot VM dan rekomendasi untuk tugas dengan Spot VM.

Batch menggunakan Spot VM untuk tugas yang melakukan semua hal berikut:

Langkah 2: Instal driver GPU

Untuk menggunakan GPU untuk tugas, Anda harus menginstal driver GPU. Untuk menginstal driver GPU, pilih salah satu metode berikut:

  • Instal driver GPU secara otomatis (direkomendasikan jika memungkinkan): Seperti yang ditunjukkan dalam contoh, untuk mengizinkan Batch mengambil driver GPU yang diperlukan dari lokasi pihak ketiga dan menginstalnya atas nama Anda, tetapkan kolom installGpuDrivers untuk tugas ke true. Metode ini direkomendasikan jika tugas Anda tidak mengharuskan Anda menginstal driver secara manual.

    Secara opsional, jika Anda perlu menentukan versi driver GPU yang diinstal Batch, tetapkan juga kolom driverVersion.

  • Menginstal driver GPU secara manual: Metode ini diperlukan jika salah satu hal berikut terpenuhi:

    • Tugas menggunakan runnable skrip dan container serta tidak memiliki akses internet. Untuk mengetahui informasi selengkapnya tentang akses yang dimiliki tugas, lihat Ringkasan jaringan batch.
    • Tugas menggunakan image VM kustom. Untuk mempelajari lebih lanjut image OS VM dan image OS VM yang dapat Anda gunakan, lihat Ringkasan lingkungan OS VM.

    Untuk menginstal driver GPU yang diperlukan secara manual, sebaiknya gunakan metode berikut:

    1. Buat image VM kustom yang menyertakan driver GPU.

      1. Untuk menginstal driver GPU, jalankan skrip penginstalan berdasarkan OS yang ingin Anda gunakan:

      2. Jika tugas Anda memiliki container runnable dan tidak menggunakan Container-Optimized OS, Anda juga harus menginstal NVIDIA Container Toolkit

    2. Saat Anda membuat dan mengirimkan tugas yang menggunakan GPU, tentukan image VM kustom yang menyertakan driver GPU, dan tetapkan kolom installGpuDrivers untuk tugas ke false (default).

Langkah 3: Tentukan resource VM yang kompatibel

Untuk mempelajari persyaratan dan opsi dalam menentukan resource VM untuk tugas, lihat Resource tugas.

Singkatnya, Anda harus melakukan semua hal berikut saat menentukan resource VM untuk tugas yang menggunakan GPU:

  • Pastikan jenis mesin GPU tersedia di lokasi VM tugas Anda.

    Untuk mempelajari ketersediaan jenis mesin GPU, lihat Lokasi GPU di dokumentasi Compute Engine.

  • Jika Anda menentukan jenis mesin tugas, pastikan jenis mesin tersebut memiliki vCPU dan memori yang cukup untuk persyaratan tugas. Menentukan jenis mesin tugas diperlukan setiap kali Anda membuat tugas menggunakan konsol Google Cloud dan direkomendasikan setiap kali Anda membuat tugas yang menggunakan GPU untuk VM yang dioptimalkan untuk akselerator.

  • Pastikan Anda menentukan resource VM untuk tugas menggunakan metode yang valid:

    • Tentukan resource VM secara langsung menggunakan kolom instances[].policy (direkomendasikan jika memungkinkan). Metode ini ditampilkan dalam contoh.
    • Tentukan resource VM melalui template menggunakan kolom instances[].instanceTemplate. Metode ini diperlukan untuk menginstal driver GPU secara manual melalui image kustom. Untuk mengetahui informasi selengkapnya, lihat Menentukan resource tugas menggunakan template instance VM.

Membuat tugas yang menggunakan GPU

Bagian berikut menjelaskan cara membuat contoh tugas untuk setiap opsi konsumsi. Secara khusus, contoh tugas menggunakan opsi yang direkomendasikan: semua menginstal driver GPU secara otomatis, dan semua langsung menentukan resource VM.

Opsi pemakaian Contoh petunjuk tugas
Pemesanan atau pemesanan mode kalender

Memastikan ketersediaan resource menggunakan pemesanan VM
Flex-start VM

Menggunakan GPU dan Flex-start VM
Sesuai permintaan atau Spot VM

Pilih salah satu opsi berikut berdasarkan jenis mesin GPU Anda:

Menggunakan GPU dan Flex-start VM

Anda dapat membuat tugas yang menggunakan GPU untuk VM A3 melalui Dynamic Workload Scheduler menggunakan gcloud CLI atau Batch API.

gcloud

  1. Buat file JSON yang menginstal driver GPU, menentukan jenis mesin GPU yang mendukung VM Flex-start, memblokir pemesanan, dan berjalan di lokasi yang mendukung jenis mesin GPU.

    Misalnya, untuk membuat tugas skrip dasar yang menggunakan VM Flex-start dan GPU untuk VM yang dioptimalkan untuk akselerator, buat file JSON dengan konten berikut.

    {
    "taskGroups": [
        {
            "taskSpec": {
                "runnables": [
                    {
                        "script": {
                            "text": "echo Hello world from task ${BATCH_TASK_INDEX}."
                        }
                    }
                ]
            },
            "taskCount": 3,
            "parallelism": 1
        }
    ],
    "allocationPolicy": {
        "instances": [
            {
                "installGpuDrivers": INSTALL_GPU_DRIVERS,
                "policy": {
                    "provisioningModel":"FLEX_START",
                    "machineType": "MACHINE_TYPE",
                    "reservation": "NO_RESERVATION"
                }
            }
        ],
        "location": {
            "allowedLocations": [
                "ALLOWED_LOCATIONS"
            ]
        }
    },
    "logsPolicy": {
        "destination": "CLOUD_LOGGING"
    }
}

    Ganti kode berikut:

    • INSTALL_GPU_DRIVERS: apakah akan menginstal driver GPU secara otomatis atau tidak. Jika ditetapkan ke true, Batch akan mengambil driver yang diperlukan untuk jenis GPU yang Anda tentukan di kolom policy dari lokasi pihak ketiga, dan Batch akan menginstalnya untuk Anda. Jika Anda menetapkan kolom ini ke false (default), Anda harus menginstal driver GPU secara manual agar dapat menggunakan GPU untuk tugas ini.

    • MACHINE_TYPE: jenis mesin GPU yang mendukung Flex-start VM. Untuk mengetahui informasi selengkapnya, lihat Ketersediaan opsi konsumsi berdasarkan jenis mesin dalam dokumentasi Compute Engine.

    • ALLOWED_LOCATIONS: lokasi yang diizinkan untuk tugas. Pastikan lokasi untuk resource Compute Engine tugas menawarkan jenis mesin GPU yang Anda inginkan untuk tugas ini dengan menggunakan salah satu opsi berikut:

      • Secara default, jika Anda menghapus kolom allowedLocations[], tugas akan berjalan di resource Compute Engine yang dibuat di region lokasi tugas (LOCATION).
      • Secara opsional, jika Anda menyertakan kolom allowedLocations[], tugas hanya diizinkan untuk berjalan di resource Compute Engine yang dibuat di lokasi yang ditentukan.

  2. Untuk membuat dan menjalankan tugas, gunakan perintah gcloud batch jobs submit:

    gcloud batch jobs submit JOB_NAME \
    --location LOCATION \
    --config JSON_CONFIGURATION_FILE

    Ganti kode berikut:

    • JOB_NAME: nama tugas.

    • LOCATION: lokasi tugas.

    • JSON_CONFIGURATION_FILE: jalur untuk file JSON dengan detail konfigurasi tugas.

API

Buat permintaan POST ke metode jobs.create yang menginstal driver GPU, menentukan jenis mesin GPU yang mendukung Flex-start VM, memblokir reservasi, dan berjalan di lokasi yang mendukung jenis mesin GPU.

Misalnya, untuk membuat tugas skrip dasar yang menggunakan VM Flex-start dan GPU untuk VM yang dioptimalkan untuk akselerator, buat permintaan berikut:

POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs?job_id=JOB_NAME

{
    "taskGroups": [
        {
            "taskSpec": {
                "runnables": [
                    {
                        "script": {
                            "text": "echo Hello world from task ${BATCH_TASK_INDEX}."
                        }
                    }
                ]
            },
            "taskCount": 3,
            "parallelism": 1
        }
    ],
    "allocationPolicy": {
        "instances": [
            {
                "installGpuDrivers": INSTALL_GPU_DRIVERS,
                "policy": {
                    "provisioningModel":"FLEX_START",
                    "machineType": "MACHINE_TYPE",
                    "reservation": "NO_RESERVATION"
                }
            }
        ],
        "location": {
            "allowedLocations": [
                "ALLOWED_LOCATIONS"
            ]
        }
    },
    "logsPolicy": {
        "destination": "CLOUD_LOGGING"
    }
}

Ganti kode berikut:

  • PROJECT_ID: Project ID project Anda.

  • LOCATION: lokasi tugas.

  • JOB_NAME: nama tugas.

  • INSTALL_GPU_DRIVERS: apakah akan menginstal driver GPU secara otomatis atau tidak. Jika ditetapkan ke true, Batch akan mengambil driver yang diperlukan untuk jenis GPU yang Anda tentukan di kolom policy dari lokasi pihak ketiga, dan Batch akan menginstalnya untuk Anda. Jika Anda menetapkan kolom ini ke false (default), Anda harus menginstal driver GPU secara manual agar dapat menggunakan GPU untuk tugas ini.

  • MACHINE_TYPE: jenis mesin GPU yang mendukung VM Flex-start. Untuk mengetahui informasi selengkapnya, lihat Ketersediaan opsi konsumsi berdasarkan jenis mesin dalam dokumentasi Compute Engine.

  • ALLOWED_LOCATIONS: lokasi yang diizinkan untuk tugas. Pastikan lokasi untuk resource Compute Engine tugas menawarkan jenis mesin GPU yang Anda inginkan untuk tugas ini dengan menggunakan salah satu opsi berikut:

    • Secara default, jika Anda menghapus kolom allowedLocations[], tugas akan berjalan di resource Compute Engine yang dibuat di region lokasi tugas (LOCATION).
    • Secara opsional, jika Anda menyertakan kolom allowedLocations[], tugas hanya diizinkan untuk berjalan di resource Compute Engine yang dibuat di lokasi yang ditentukan.

Menggunakan GPU untuk VM yang dioptimalkan akselerator

Anda dapat membuat tugas yang menggunakan GPU untuk VM yang dioptimalkan akselerator menggunakan Google Cloud konsol, gcloud CLI, Batch API, Java, Node.js, atau Python.

Konsol

Untuk membuat tugas yang menggunakan GPU menggunakan konsol Google Cloud , lakukan hal berikut:

  1. Di konsol Google Cloud , buka halaman Job list.

    Buka Job list

  2. Klik Create. Halaman Create batch job akan terbuka. Di panel kiri, halaman Job details dipilih.

  3. Konfigurasikan halaman Job details:

    1. Opsional: Di kolom Job name, sesuaikan nama tugas.

      Misalnya, masukkan example-gpu-job.

    2. Konfigurasi bagian Task details:

      1. Di jendela New runnable, tambahkan setidaknya satu skrip atau container untuk menjalankan tugas ini.

        Misalnya, untuk membuat tugas skrip dasar, lakukan hal berikut:

        1. Centang kotak Script. Kolom akan muncul.

        2. Di kolom tersebut, masukkan skrip berikut:

          echo Hello world from task ${BATCH_TASK_INDEX}.

        3. Klik Done.

      2. Di kolom Task count, masukkan jumlah tugas untuk tugas ini.

        Misalnya, masukkan 3.

      3. Opsional: Di kolom Parallelism, masukkan jumlah tugas yang akan dijalankan secara serentak.

        Misalnya, masukkan 1 (default).

  4. Konfigurasikan halaman Resource specifications:

    1. Di panel kiri, klik Resource specifications. Halaman Resource specifications akan terbuka.

    2. Di bagian VM provisioning model, pilih salah satu opsi berikut untuk opsi konsumsi VM tugas ini:

      • Jika tugas Anda dapat menahan preemption dan Anda menginginkan Spot VM dengan diskon, pilih Spot.

      • Jika tidak, untuk menggunakan VM on-demand, pilih Standard (default).

    3. Pilih lokasi untuk tugas ini.

      1. Di kolom Region, pilih region.

      2. Di kolom Zone, lakukan salah satu langkah berikut:

        • Jika Anda ingin membatasi tugas ini agar hanya berjalan di zona tertentu, pilih zona.

        • Jika tidak, pilih any (default).

    4. Pilih jenis mesin GPU untuk VM tugas ini:

      1. Di opsi kelompok mesin, klik GPUs.

      2. Di kolom GPU type, pilih jenis GPU. Kemudian, di kolom Number of GPUs, pilih jumlah GPU untuk setiap VM.

        Jika Anda memilih salah satu jenis GPU untuk VM yang dioptimalkan untuk akselerator, kolom Machine type hanya mengizinkan satu opsi untuk jenis mesin berdasarkan jenis dan jumlah GPU yang Anda pilih.

      3. Untuk menginstal driver GPU secara otomatis, pilih GPU driver installation (default).

    5. Konfigurasikan jumlah resource VM yang diperlukan untuk setiap tugas:

      1. Di kolom Cores, masukkan jumlah vCPUs per tugas.

        Misalnya, masukkan 1 (default).

      2. Di kolom Memory, masukkan jumlah RAM dalam GB per tugas.

        Misalnya, masukkan 0.5 (default).

    6. Klik Done.

  5. Opsional: Konfigurasikan kolom lain untuk tugas ini.

  6. Opsional: Untuk meninjau konfigurasi tugas, di panel kiri, klik Preview.

  7. Klik Create.

    Halaman Job details menampilkan tugas yang Anda buat.

gcloud

  1. Buat file JSON yang menginstal driver GPU, menentukan jenis mesin dari kelompok mesin yang dioptimalkan akselerator, dan berjalan di lokasi yang memiliki jenis mesin GPU.

    Misalnya, untuk membuat tugas skrip dasar yang menggunakan GPU untuk VM yang dioptimalkan untuk akselerator, buat file JSON dengan konten berikut:

    {
    "taskGroups": [
        {
            "taskSpec": {
                "runnables": [
                    {
                        "script": {
                            "text": "echo Hello world from task ${BATCH_TASK_INDEX}."
                        }
                    }
                ]
            },
            "taskCount": 3,
            "parallelism": 1
        }
    ],
    "allocationPolicy": {
        "instances": [
            {
                "installGpuDrivers": INSTALL_GPU_DRIVERS,
                "policy": {
                    "provisioningModel": "PROVISIONING_MODEL",
                    "machineType": "MACHINE_TYPE",
                    "reservation": "NO_RESERVATION"
                }
            }
        ],
        "location": {
            "allowedLocations": [
                "ALLOWED_LOCATIONS"
            ]
        }
    },
    "logsPolicy": {
        "destination": "CLOUD_LOGGING"
    }
}

    Ganti kode berikut:

    • INSTALL_GPU_DRIVERS: apakah akan menginstal driver GPU secara otomatis atau tidak. Jika ditetapkan ke true, Batch akan mengambil driver yang diperlukan untuk jenis GPU yang Anda tentukan di kolom policy dari lokasi pihak ketiga, dan Batch akan menginstalnya untuk Anda. Jika Anda menetapkan kolom ini ke false (default), Anda harus menginstal driver GPU secara manual agar dapat menggunakan GPU untuk tugas ini.

    • PROVISIONING_MODEL: model penyediaan untuk opsi konsumsi Anda: STANDARD untuk on-demand atau SPOT untuk Spot VM.

    • MACHINE_TYPE: jenis mesin dari kelompok mesin yang dioptimalkan akselerator.

    • ALLOWED_LOCATIONS: lokasi yang diizinkan untuk tugas. Pastikan lokasi untuk resource Compute Engine tugas menawarkan jenis mesin GPU yang Anda inginkan untuk tugas ini dengan menggunakan salah satu opsi berikut:

      • Secara default, jika Anda menghapus kolom allowedLocations[], tugas akan berjalan di resource Compute Engine yang dibuat di region lokasi tugas (LOCATION).
      • Secara opsional, jika Anda menyertakan kolom allowedLocations[], tugas hanya diizinkan untuk berjalan di resource Compute Engine yang dibuat di lokasi yang ditentukan.

  2. Untuk membuat dan menjalankan tugas, gunakan perintah gcloud batch jobs submit:

    gcloud batch jobs submit JOB_NAME \
    --location LOCATION \
    --config JSON_CONFIGURATION_FILE

    Ganti kode berikut:

    • JOB_NAME: nama tugas.

    • LOCATION: lokasi tugas.

    • JSON_CONFIGURATION_FILE: jalur untuk file JSON dengan detail konfigurasi tugas.

API

Buat permintaan POST ke metode jobs.create yang menginstal driver GPU, menentukan jenis mesin dari kelompok mesin yang dioptimalkan akselerator, dan berjalan di lokasi yang memiliki jenis mesin GPU.

Misalnya, untuk membuat tugas skrip dasar yang menggunakan GPU untuk VM yang dioptimalkan untuk akselerator, buat permintaan berikut:

POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs?job_id=JOB_NAME

{
    "taskGroups": [
        {
            "taskSpec": {
                "runnables": [
                    {
                        "script": {
                            "text": "echo Hello world from task ${BATCH_TASK_INDEX}."
                        }
                    }
                ]
            },
            "taskCount": 3,
            "parallelism": 1
        }
    ],
    "allocationPolicy": {
        "instances": [
            {
                "installGpuDrivers": INSTALL_GPU_DRIVERS,
                "policy": {
                    "provisioningModel": "PROVISIONING_MODEL",
                    "machineType": "MACHINE_TYPE",
                    "reservation": "NO_RESERVATION"
                }
            }
        ],
        "location": {
            "allowedLocations": [
                "ALLOWED_LOCATIONS"
            ]
        }
    },
    "logsPolicy": {
        "destination": "CLOUD_LOGGING"
    }
}

Ganti kode berikut:

  • PROJECT_ID: Project ID project Anda.

  • LOCATION: lokasi tugas.

  • JOB_NAME: nama tugas.

  • INSTALL_GPU_DRIVERS: apakah akan menginstal driver GPU secara otomatis atau tidak. Jika ditetapkan ke true, Batch akan mengambil driver yang diperlukan untuk jenis GPU yang Anda tentukan di kolom policy dari lokasi pihak ketiga, dan Batch akan menginstalnya untuk Anda. Jika Anda menetapkan kolom ini ke false (default), Anda harus menginstal driver GPU secara manual agar dapat menggunakan GPU untuk tugas ini.

  • PROVISIONING_MODEL: model penyediaan untuk opsi konsumsi Anda: STANDARD untuk on-demand atau SPOT untuk Spot VM.

  • MACHINE_TYPE: jenis mesin dari kelompok mesin yang dioptimalkan akselerator.

  • ALLOWED_LOCATIONS: lokasi yang diizinkan untuk tugas. Pastikan lokasi untuk resource Compute Engine tugas menawarkan jenis mesin GPU yang Anda inginkan untuk tugas ini dengan menggunakan salah satu opsi berikut:

    • Secara default, jika Anda menghapus kolom allowedLocations[], tugas akan berjalan di resource Compute Engine yang dibuat di region lokasi tugas (LOCATION).
    • Secara opsional, jika Anda menyertakan kolom allowedLocations[], tugas hanya diizinkan untuk berjalan di resource Compute Engine yang dibuat di lokasi yang ditentukan.

Java 


import com.google.cloud.batch.v1.AllocationPolicy;
import com.google.cloud.batch.v1.AllocationPolicy.Accelerator;
import com.google.cloud.batch.v1.AllocationPolicy.InstancePolicy;
import com.google.cloud.batch.v1.AllocationPolicy.InstancePolicyOrTemplate;
import com.google.cloud.batch.v1.BatchServiceClient;
import com.google.cloud.batch.v1.CreateJobRequest;
import com.google.cloud.batch.v1.Job;
import com.google.cloud.batch.v1.LogsPolicy;
import com.google.cloud.batch.v1.Runnable;
import com.google.cloud.batch.v1.Runnable.Script;
import com.google.cloud.batch.v1.TaskGroup;
import com.google.cloud.batch.v1.TaskSpec;
import com.google.protobuf.Duration;
import java.io.IOException;
import java.util.concurrent.ExecutionException;
import java.util.concurrent.TimeUnit;
import java.util.concurrent.TimeoutException;

public class CreateGpuJob {

  public static void main(String[] args)
      throws IOException, ExecutionException, InterruptedException, TimeoutException {
    // TODO(developer): Replace these variables before running the sample.
    // Project ID or project number of the Google Cloud project you want to use.
    String projectId = "YOUR_PROJECT_ID";
    // Name of the region you want to use to run the job. Regions that are
    // available for Batch are listed on: https://cloud.google.com/batch/docs/get-started#locations
    String region = "europe-central2";
    // The name of the job that will be created.
    // It needs to be unique for each project and region pair.
    String jobName = "JOB_NAME";
    // Optional. When set to true, Batch fetches the drivers required for the GPU type
    // that you specify in the policy field from a third-party location,
    // and Batch installs them on your behalf. If you set this field to false (default),
    // you need to install GPU drivers manually to use any GPUs for this job.
    boolean installGpuDrivers = false;
    // Accelerator-optimized machine types are available to Batch jobs. See the list
    // of available types on: https://cloud.google.com/compute/docs/accelerator-optimized-machines
    String machineType = "g2-standard-4";

    createGpuJob(projectId, region, jobName, installGpuDrivers, machineType);
  }

  // Create a job that uses GPUs
  public static Job createGpuJob(String projectId, String region, String jobName,
                                  boolean installGpuDrivers, String machineType)
      throws IOException, ExecutionException, InterruptedException, TimeoutException {
    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests.
    try (BatchServiceClient batchServiceClient = BatchServiceClient.create()) {
      // Define what will be done as part of the job.
      Runnable runnable =
          Runnable.newBuilder()
              .setScript(
                  Script.newBuilder()
                      .setText(
                          "echo Hello world! This is task ${BATCH_TASK_INDEX}. "
                                  + "This job has a total of ${BATCH_TASK_COUNT} tasks.")
                      // You can also run a script from a file. Just remember, that needs to be a
                      // script that's already on the VM that will be running the job.
                      // Using setText() and setPath() is mutually exclusive.
                      // .setPath("/tmp/test.sh")
                      .build())
              .build();

      TaskSpec task = TaskSpec.newBuilder()
                  // Jobs can be divided into tasks. In this case, we have only one task.
                  .addRunnables(runnable)
                  .setMaxRetryCount(2)
                  .setMaxRunDuration(Duration.newBuilder().setSeconds(3600).build())
                  .build();

      // Tasks are grouped inside a job using TaskGroups.
      // Currently, it's possible to have only one task group.
      TaskGroup taskGroup = TaskGroup.newBuilder()
          .setTaskCount(3)
          .setParallelism(1)
          .setTaskSpec(task)
          .build();

      // Policies are used to define on what kind of virtual machines the tasks will run.
      // Read more about machine types here: https://cloud.google.com/compute/docs/machine-types
      InstancePolicy instancePolicy =
          InstancePolicy.newBuilder().setMachineType(machineType).build();  

      // Policies are used to define on what kind of virtual machines the tasks will run on.
      AllocationPolicy allocationPolicy =
          AllocationPolicy.newBuilder()
              .addInstances(
                  InstancePolicyOrTemplate.newBuilder()
                      .setInstallGpuDrivers(installGpuDrivers)
                      .setPolicy(instancePolicy)
                      .build())
              .build();

      Job job =
          Job.newBuilder()
              .addTaskGroups(taskGroup)
              .setAllocationPolicy(allocationPolicy)
              .putLabels("env", "testing")
              .putLabels("type", "script")
              // We use Cloud Logging as it's an out of the box available option.
              .setLogsPolicy(
                  LogsPolicy.newBuilder().setDestination(LogsPolicy.Destination.CLOUD_LOGGING))
              .build();

      CreateJobRequest createJobRequest =
          CreateJobRequest.newBuilder()
              // The job's parent is the region in which the job will run.
              .setParent(String.format("projects/%s/locations/%s", projectId, region))
              .setJob(job)
              .setJobId(jobName)
              .build();

      Job result =
          batchServiceClient
              .createJobCallable()
              .futureCall(createJobRequest)
              .get(5, TimeUnit.MINUTES);

      System.out.printf("Successfully created the job: %s", result.getName());

      return result;
    }
  }
}

Node.js 

// Imports the Batch library
const batchLib = require('@google-cloud/batch');
const batch = batchLib.protos.google.cloud.batch.v1;

// Instantiates a client
const batchClient = new batchLib.v1.BatchServiceClient();

/**
 * TODO(developer): Update these variables before running the sample.
 */
// Project ID or project number of the Google Cloud project you want to use.
const projectId = await batchClient.getProjectId();
// Name of the region you want to use to run the job. Regions that are
// available for Batch are listed on: https://cloud.google.com/batch/docs/get-started#locations
const region = 'europe-central2';
// The name of the job that will be created.
// It needs to be unique for each project and region pair.
const jobName = 'batch-gpu-job';
// The GPU type. You can view a list of the available GPU types
// by using the `gcloud compute accelerator-types list` command.
const gpuType = 'nvidia-l4';
// The number of GPUs of the specified type.
const gpuCount = 1;
// Optional. When set to true, Batch fetches the drivers required for the GPU type
// that you specify in the policy field from a third-party location,
// and Batch installs them on your behalf. If you set this field to false (default),
// you need to install GPU drivers manually to use any GPUs for this job.
const installGpuDrivers = false;
// Accelerator-optimized machine types are available to Batch jobs. See the list
// of available types on: https://cloud.google.com/compute/docs/accelerator-optimized-machines
const machineType = 'g2-standard-4';

// Define what will be done as part of the job.
const runnable = new batch.Runnable({
  script: new batch.Runnable.Script({
    commands: ['-c', 'echo Hello world! This is task ${BATCH_TASK_INDEX}.'],
  }),
});

const task = new batch.TaskSpec({
  runnables: [runnable],
  maxRetryCount: 2,
  maxRunDuration: {seconds: 3600},
});

// Tasks are grouped inside a job using TaskGroups.
const group = new batch.TaskGroup({
  taskCount: 3,
  taskSpec: task,
});

// Policies are used to define on what kind of virtual machines the tasks will run on.
// In this case, we tell the system to use "g2-standard-4" machine type.
// Read more about machine types here: https://cloud.google.com/compute/docs/machine-types
const instancePolicy = new batch.AllocationPolicy.InstancePolicy({
  machineType,
  // Accelerator describes Compute Engine accelerators to be attached to the VM
  accelerators: [
    new batch.AllocationPolicy.Accelerator({
      type: gpuType,
      count: gpuCount,
      installGpuDrivers,
    }),
  ],
});

const allocationPolicy = new batch.AllocationPolicy.InstancePolicyOrTemplate({
  instances: [{installGpuDrivers, policy: instancePolicy}],
});

const job = new batch.Job({
  name: jobName,
  taskGroups: [group],
  labels: {env: 'testing', type: 'script'},
  allocationPolicy,
  // We use Cloud Logging as it's an option available out of the box
  logsPolicy: new batch.LogsPolicy({
    destination: batch.LogsPolicy.Destination.CLOUD_LOGGING,
  }),
});
// The job's parent is the project and region in which the job will run
const parent = `projects/${projectId}/locations/${region}`;

async function callCreateBatchGPUJob() {
  // Construct request
  const request = {
    parent,
    jobId: jobName,
    job,
  };

  // Run request
  const [response] = await batchClient.createJob(request);
  console.log(JSON.stringify(response));
}

await callCreateBatchGPUJob();

Python 

from google.cloud import batch_v1


def create_gpu_job(project_id: str, region: str, job_name: str) -> batch_v1.Job:
    """
    This method shows how to create a sample Batch Job that will run
    a simple command on Cloud Compute instances on GPU machines.

    Args:
        project_id: project ID or project number of the Cloud project you want to use.
        region: name of the region you want to use to run the job. Regions that are
            available for Batch are listed on: https://cloud.google.com/batch/docs/get-started#locations
        job_name: the name of the job that will be created.
            It needs to be unique for each project and region pair.

    Returns:
        A job object representing the job created.
    """
    client = batch_v1.BatchServiceClient()

    # Define what will be done as part of the job.
    task = batch_v1.TaskSpec()
    runnable = batch_v1.Runnable()
    runnable.script = batch_v1.Runnable.Script()
    runnable.script.text = "echo Hello world! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks."
    # You can also run a script from a file. Just remember, that needs to be a script that's
    # already on the VM that will be running the job. Using runnable.script.text and runnable.script.path is mutually
    # exclusive.
    # runnable.script.path = '/tmp/test.sh'
    task.runnables = [runnable]

    # We can specify what resources are requested by each task.
    resources = batch_v1.ComputeResource()
    resources.cpu_milli = 2000  # in milliseconds per cpu-second. This means the task requires 2 whole CPUs.
    resources.memory_mib = 16  # in MiB
    task.compute_resource = resources

    task.max_retry_count = 2
    task.max_run_duration = "3600s"

    # Tasks are grouped inside a job using TaskGroups.
    # Currently, it's possible to have only one task group.
    group = batch_v1.TaskGroup()
    group.task_count = 4
    group.task_spec = task

    # Policies are used to define on what kind of virtual machines the tasks will run on.
    # In this case, we tell the system to use "g2-standard-4" machine type.
    # Read more about machine types here: https://cloud.google.com/compute/docs/machine-types
    policy = batch_v1.AllocationPolicy.InstancePolicy()
    policy.machine_type = "g2-standard-4"

    instances = batch_v1.AllocationPolicy.InstancePolicyOrTemplate()
    instances.policy = policy
    instances.install_gpu_drivers = True
    allocation_policy = batch_v1.AllocationPolicy()
    allocation_policy.instances = [instances]

    job = batch_v1.Job()
    job.task_groups = [group]
    job.allocation_policy = allocation_policy
    job.labels = {"env": "testing", "type": "container"}
    # We use Cloud Logging as it's an out of the box available option
    job.logs_policy = batch_v1.LogsPolicy()
    job.logs_policy.destination = batch_v1.LogsPolicy.Destination.CLOUD_LOGGING

    create_request = batch_v1.CreateJobRequest()
    create_request.job = job
    create_request.job_id = job_name
    # The job's parent is the region in which the job will run
    create_request.parent = f"projects/{project_id}/locations/{region}"

    return client.create_job(create_request)

Menggunakan GPU untuk VM N1

Anda dapat membuat tugas yang menggunakan GPU untuk VM N1 menggunakan konsol Google Cloud , gcloud CLI, Batch API, Java, Node.js, atau Python.

Konsol

Untuk membuat tugas yang menggunakan GPU menggunakan konsol Google Cloud , lakukan hal berikut:

  1. Di konsol Google Cloud , buka halaman Job list.

    Buka Job list

  2. Klik Create. Halaman Create batch job akan terbuka. Di panel kiri, halaman Job details dipilih.

  3. Konfigurasikan halaman Job details:

    1. Opsional: Di kolom Job name, sesuaikan nama tugas.

      Misalnya, masukkan example-gpu-job.

    2. Konfigurasi bagian Task details:

      1. Di jendela New runnable, tambahkan setidaknya satu skrip atau container untuk menjalankan tugas ini.

        Misalnya, untuk membuat tugas skrip dasar, lakukan hal berikut:

        1. Centang kotak Script. Kolom akan muncul.

        2. Di kolom tersebut, masukkan skrip berikut:

          echo Hello world from task ${BATCH_TASK_INDEX}.

        3. Klik Done.

      2. Di kolom Task count, masukkan jumlah tugas untuk tugas ini.

        Misalnya, masukkan 3.

      3. Opsional: Di kolom Parallelism, masukkan jumlah tugas yang akan dijalankan secara serentak.

        Misalnya, masukkan 1 (default).

  4. Konfigurasikan halaman Resource specifications:

    1. Di panel kiri, klik Resource specifications. Halaman Resource specifications akan terbuka.

    2. Di bagian VM provisioning model, pilih salah satu opsi berikut untuk opsi konsumsi VM tugas ini:

      • Jika tugas Anda dapat menahan preemption dan Anda menginginkan Spot VM dengan diskon, pilih Spot.

      • Jika tidak, untuk menggunakan VM on-demand, pilih Standard (default).

    3. Pilih lokasi untuk tugas ini.

      1. Di kolom Region, pilih region.

      2. Di kolom Zone, lakukan salah satu langkah berikut:

        • Jika Anda ingin membatasi tugas ini agar hanya berjalan di zona tertentu, pilih zona.

        • Jika tidak, pilih any (default).

    4. Pilih jenis mesin GPU untuk VM tugas ini:

      1. Di opsi kelompok mesin, klik GPUs.

      2. Di kolom GPU type, pilih jenis GPU.

        Jika Anda memilih salah satu jenis GPU untuk VM N1, kolom Series akan ditetapkan ke N1.

      3. Di kolom Number of GPUs, pilih jumlah GPU untuk setiap VM.

      4. Di kolom Machine type, pilih jenis mesin.

      5. Untuk menginstal driver GPU secara otomatis, pilih GPU driver installation (default).

    5. Konfigurasikan jumlah resource VM yang diperlukan untuk setiap tugas:

      1. Di kolom Cores, masukkan jumlah vCPUs per tugas.

        Misalnya, masukkan 1 (default).

      2. Di kolom Memory, masukkan jumlah RAM dalam GB per tugas.

        Misalnya, masukkan 0.5 (default).

    6. Klik Done.

  5. Opsional: Konfigurasikan kolom lain untuk tugas ini.

  6. Opsional: Untuk meninjau konfigurasi tugas, di panel kiri, klik Preview.

  7. Klik Create.

    Halaman Job details menampilkan tugas yang Anda buat.

gcloud

  1. Buat file JSON yang menginstal driver GPU, menentukan subkolom type dan count dari kolom accelerators[], dan berjalan di lokasi yang memiliki jenis mesin GPU.

    Misalnya, untuk membuat tugas skrip dasar yang menggunakan GPU untuk VM N1 dan memungkinkan Batch memilih jenis mesin N1 yang tepat, buat file JSON dengan konten berikut:

    {
    "taskGroups": [
        {
            "taskSpec": {
                "runnables": [
                    {
                        "script": {
                            "text": "echo Hello world from task ${BATCH_TASK_INDEX}."
                        }
                    }
                ]
            },
            "taskCount": 3,
            "parallelism": 1
        }
    ],
    "allocationPolicy": {
        "instances": [
            {
                "installGpuDrivers": INSTALL_GPU_DRIVERS,
                "policy": {
                    "provisioningModel": "PROVISIONING_MODEL",
                    "reservation": "NO_RESERVATION",
                    "accelerators": [
                        {
                            "type": "GPU_TYPE",
                            "count": GPU_COUNT
                        }
                    ]
                }
            }
        ],
        "location": {
            "allowedLocations": [
                "ALLOWED_LOCATIONS"
            ]
        }
    },
    "logsPolicy": {
        "destination": "CLOUD_LOGGING"
    }
}

    Ganti kode berikut:

    • INSTALL_GPU_DRIVERS: apakah akan menginstal driver GPU secara otomatis atau tidak. Jika ditetapkan ke true, Batch akan mengambil driver yang diperlukan untuk jenis GPU yang Anda tentukan di kolom policy dari lokasi pihak ketiga, dan Batch akan menginstalnya untuk Anda. Jika Anda menetapkan kolom ini ke false (default), Anda harus menginstal driver GPU secara manual agar dapat menggunakan GPU untuk tugas ini.

    • PROVISIONING_MODEL: model penyediaan untuk opsi konsumsi Anda: STANDARD untuk on-demand atau SPOT untuk Spot VM.

    • GPU_TYPE: jenis GPU. Anda dapat melihat daftar jenis GPU yang tersedia menggunakan perintah gcloud compute accelerator-types list. Hanya gunakan kolom ini untuk GPU untuk VM N1.

    • GPU_COUNT: jumlah GPU dari jenis yang ditentukan. Untuk mengetahui informasi selengkapnya tentang opsi yang valid, lihat Jenis mesin GPU untuk seri mesin N1. Hanya gunakan kolom ini untuk GPU untuk VM N1.

    • ALLOWED_LOCATIONS: lokasi yang diizinkan untuk tugas. Pastikan lokasi untuk resource Compute Engine tugas menawarkan jenis mesin GPU yang Anda inginkan untuk tugas ini dengan menggunakan salah satu opsi berikut:

      • Secara default, jika Anda menghapus kolom allowedLocations[], tugas akan berjalan di resource Compute Engine yang dibuat di region lokasi tugas (LOCATION).
      • Secara opsional, jika Anda menyertakan kolom allowedLocations[], tugas hanya diizinkan untuk berjalan di resource Compute Engine yang dibuat di lokasi yang ditentukan.

  2. Untuk membuat dan menjalankan tugas, gunakan perintah gcloud batch jobs submit:

    gcloud batch jobs submit JOB_NAME \
    --location LOCATION \
    --config JSON_CONFIGURATION_FILE

    Ganti kode berikut:

    • JOB_NAME: nama tugas.

    • LOCATION: lokasi tugas.

    • JSON_CONFIGURATION_FILE: jalur untuk file JSON dengan detail konfigurasi tugas.

API

Buat permintaan POST ke metode jobs.create yang menginstal driver GPU, menentukan subkolom type dan count dari kolom accelerators[], dan menggunakan lokasi yang memiliki jenis mesin GPU.

Misalnya, untuk membuat tugas skrip dasar yang menggunakan GPU untuk VM N1 dan memungkinkan Batch memilih jenis mesin N1 yang tepat, buat permintaan berikut:

POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs?job_id=JOB_NAME

{
    "taskGroups": [
        {
            "taskSpec": {
                "runnables": [
                    {
                        "script": {
                            "text": "echo Hello world from task ${BATCH_TASK_INDEX}."
                        }
                    }
                ]
            },
            "taskCount": 3,
            "parallelism": 1
        }
    ],
    "allocationPolicy": {
        "instances": [
            {
                "installGpuDrivers": INSTALL_GPU_DRIVERS,
                "policy": {
                    "provisioningModel": "PROVISIONING_MODEL",
                    "reservation": "NO_RESERVATION",
                    "accelerators": [
                        {
                            "type": "GPU_TYPE",
                            "count": GPU_COUNT
                        }
                    ]
                }
            }
        ],
        "location": {
            "allowedLocations": [
                "ALLOWED_LOCATIONS"
            ]
        }
    },
    "logsPolicy": {
        "destination": "CLOUD_LOGGING"
    }
}

Ganti kode berikut:

  • PROJECT_ID: Project ID project Anda.

  • LOCATION: lokasi tugas.

  • JOB_NAME: nama tugas.

  • INSTALL_GPU_DRIVERS: apakah akan menginstal driver GPU secara otomatis atau tidak. Jika ditetapkan ke true, Batch akan mengambil driver yang diperlukan untuk jenis GPU yang Anda tentukan di kolom policy dari lokasi pihak ketiga, dan Batch akan menginstalnya untuk Anda. Jika Anda menetapkan kolom ini ke false (default), Anda harus menginstal driver GPU secara manual agar dapat menggunakan GPU untuk tugas ini.

  • PROVISIONING_MODEL: model penyediaan untuk opsi konsumsi Anda: STANDARD untuk on-demand atau SPOT untuk Spot VM.

  • GPU_TYPE: jenis GPU. Anda dapat melihat daftar jenis GPU yang tersedia menggunakan perintah gcloud compute accelerator-types list. Hanya gunakan kolom ini untuk GPU untuk VM N1.

  • GPU_COUNT: jumlah GPU dari jenis yang ditentukan. Untuk mengetahui informasi selengkapnya tentang opsi yang valid, lihat Jenis mesin GPU untuk seri mesin N1. Hanya gunakan kolom ini untuk GPU untuk VM N1.

  • ALLOWED_LOCATIONS: lokasi yang diizinkan untuk tugas. Pastikan lokasi untuk resource Compute Engine tugas menawarkan jenis mesin GPU yang Anda inginkan untuk tugas ini dengan menggunakan salah satu opsi berikut:

    • Secara default, jika Anda menghapus kolom allowedLocations[], tugas akan berjalan di resource Compute Engine yang dibuat di region lokasi tugas (LOCATION).
    • Secara opsional, jika Anda menyertakan kolom allowedLocations[], tugas hanya diizinkan untuk berjalan di resource Compute Engine yang dibuat di lokasi yang ditentukan.

Java 


import com.google.cloud.batch.v1.AllocationPolicy;
import com.google.cloud.batch.v1.AllocationPolicy.Accelerator;
import com.google.cloud.batch.v1.AllocationPolicy.InstancePolicy;
import com.google.cloud.batch.v1.AllocationPolicy.InstancePolicyOrTemplate;
import com.google.cloud.batch.v1.BatchServiceClient;
import com.google.cloud.batch.v1.CreateJobRequest;
import com.google.cloud.batch.v1.Job;
import com.google.cloud.batch.v1.LogsPolicy;
import com.google.cloud.batch.v1.Runnable;
import com.google.cloud.batch.v1.Runnable.Script;
import com.google.cloud.batch.v1.TaskGroup;
import com.google.cloud.batch.v1.TaskSpec;
import com.google.protobuf.Duration;
import java.io.IOException;
import java.util.concurrent.ExecutionException;
import java.util.concurrent.TimeUnit;
import java.util.concurrent.TimeoutException;

public class CreateGpuJobN1 {

  public static void main(String[] args)
      throws IOException, ExecutionException, InterruptedException, TimeoutException {
    // TODO(developer): Replace these variables before running the sample.
    // Project ID or project number of the Google Cloud project you want to use.
    String projectId = "YOUR_PROJECT_ID";
    // Name of the region you want to use to run the job. Regions that are
    // available for Batch are listed on: https://cloud.google.com/batch/docs/get-started#locations
    String region = "europe-central2";
    // The name of the job that will be created.
    // It needs to be unique for each project and region pair.
    String jobName = "JOB_NAME";
    // Optional. When set to true, Batch fetches the drivers required for the GPU type
    // that you specify in the policy field from a third-party location,
    // and Batch installs them on your behalf. If you set this field to false (default),
    // you need to install GPU drivers manually to use any GPUs for this job.
    boolean installGpuDrivers = false;
    // The GPU type. You can view a list of the available GPU types
    // by using the `gcloud compute accelerator-types list` command.
    String gpuType = "nvidia-tesla-t4";
    // The number of GPUs of the specified type.
    int gpuCount = 2;

    createGpuJob(projectId, region, jobName, installGpuDrivers, gpuType, gpuCount);
  }

  // Create a job that uses GPUs
  public static Job createGpuJob(String projectId, String region, String jobName,
                                  boolean installGpuDrivers, String gpuType, int gpuCount)
      throws IOException, ExecutionException, InterruptedException, TimeoutException {
    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests.
    try (BatchServiceClient batchServiceClient = BatchServiceClient.create()) {
      // Define what will be done as part of the job.
      Runnable runnable =
          Runnable.newBuilder()
              .setScript(
                  Script.newBuilder()
                      .setText(
                          "echo Hello world! This is task ${BATCH_TASK_INDEX}. "
                                  + "This job has a total of ${BATCH_TASK_COUNT} tasks.")
                      // You can also run a script from a file. Just remember, that needs to be a
                      // script that's already on the VM that will be running the job.
                      // Using setText() and setPath() is mutually exclusive.
                      // .setPath("/tmp/test.sh")
                      .build())
              .build();

      TaskSpec task = TaskSpec.newBuilder()
                  // Jobs can be divided into tasks. In this case, we have only one task.
                  .addRunnables(runnable)
                  .setMaxRetryCount(2)
                  .setMaxRunDuration(Duration.newBuilder().setSeconds(3600).build())
                  .build();

      // Tasks are grouped inside a job using TaskGroups.
      // Currently, it's possible to have only one task group.
      TaskGroup taskGroup = TaskGroup.newBuilder()
          .setTaskCount(3)
          .setParallelism(1)
          .setTaskSpec(task)
          .build();

      // Accelerator describes Compute Engine accelerators to be attached to the VM.
      Accelerator accelerator = Accelerator.newBuilder()
          .setType(gpuType)
          .setCount(gpuCount)
          .build();

      // Policies are used to define on what kind of virtual machines the tasks will run on.
      AllocationPolicy allocationPolicy =
          AllocationPolicy.newBuilder()
              .addInstances(
                  InstancePolicyOrTemplate.newBuilder()
                      .setInstallGpuDrivers(installGpuDrivers)
                      .setPolicy(InstancePolicy.newBuilder().addAccelerators(accelerator))
                      .build())
              .build();

      Job job =
          Job.newBuilder()
              .addTaskGroups(taskGroup)
              .setAllocationPolicy(allocationPolicy)
              .putLabels("env", "testing")
              .putLabels("type", "script")
              // We use Cloud Logging as it's an out of the box available option.
              .setLogsPolicy(
                  LogsPolicy.newBuilder().setDestination(LogsPolicy.Destination.CLOUD_LOGGING))
              .build();

      CreateJobRequest createJobRequest =
          CreateJobRequest.newBuilder()
              // The job's parent is the region in which the job will run.
              .setParent(String.format("projects/%s/locations/%s", projectId, region))
              .setJob(job)
              .setJobId(jobName)
              .build();

      Job result =
          batchServiceClient
              .createJobCallable()
              .futureCall(createJobRequest)
              .get(5, TimeUnit.MINUTES);

      System.out.printf("Successfully created the job: %s", result.getName());

      return result;
    }
  }
}

Node.js 

// Imports the Batch library
const batchLib = require('@google-cloud/batch');
const batch = batchLib.protos.google.cloud.batch.v1;

// Instantiates a client
const batchClient = new batchLib.v1.BatchServiceClient();

/**
 * TODO(developer): Update these variables before running the sample.
 */
// Project ID or project number of the Google Cloud project you want to use.
const projectId = await batchClient.getProjectId();
// Name of the region you want to use to run the job. Regions that are
// available for Batch are listed on: https://cloud.google.com/batch/docs/get-started#locations
const region = 'europe-central2';
// The name of the job that will be created.
// It needs to be unique for each project and region pair.
const jobName = 'batch-gpu-job-n1';
// The GPU type. You can view a list of the available GPU types
// by using the `gcloud compute accelerator-types list` command.
const gpuType = 'nvidia-tesla-t4';
// The number of GPUs of the specified type.
const gpuCount = 1;
// Optional. When set to true, Batch fetches the drivers required for the GPU type
// that you specify in the policy field from a third-party location,
// and Batch installs them on your behalf. If you set this field to false (default),
// you need to install GPU drivers manually to use any GPUs for this job.
const installGpuDrivers = false;
// Accelerator-optimized machine types are available to Batch jobs. See the list
// of available types on: https://cloud.google.com/compute/docs/accelerator-optimized-machines
const machineType = 'n1-standard-16';

// Define what will be done as part of the job.
const runnable = new batch.Runnable({
  script: new batch.Runnable.Script({
    commands: ['-c', 'echo Hello world! This is task ${BATCH_TASK_INDEX}.'],
  }),
});

const task = new batch.TaskSpec({
  runnables: [runnable],
  maxRetryCount: 2,
  maxRunDuration: {seconds: 3600},
});

// Tasks are grouped inside a job using TaskGroups.
const group = new batch.TaskGroup({
  taskCount: 3,
  taskSpec: task,
});

// Policies are used to define on what kind of virtual machines the tasks will run on.
// In this case, we tell the system to use "g2-standard-4" machine type.
// Read more about machine types here: https://cloud.google.com/compute/docs/machine-types
const instancePolicy = new batch.AllocationPolicy.InstancePolicy({
  machineType,
  // Accelerator describes Compute Engine accelerators to be attached to the VM
  accelerators: [
    new batch.AllocationPolicy.Accelerator({
      type: gpuType,
      count: gpuCount,
      installGpuDrivers,
    }),
  ],
});

const allocationPolicy = new batch.AllocationPolicy.InstancePolicyOrTemplate({
  instances: [{installGpuDrivers, policy: instancePolicy}],
});

const job = new batch.Job({
  name: jobName,
  taskGroups: [group],
  labels: {env: 'testing', type: 'script'},
  allocationPolicy,
  // We use Cloud Logging as it's an option available out of the box
  logsPolicy: new batch.LogsPolicy({
    destination: batch.LogsPolicy.Destination.CLOUD_LOGGING,
  }),
});
// The job's parent is the project and region in which the job will run
const parent = `projects/${projectId}/locations/${region}`;

async function callCreateBatchGPUJobN1() {
  // Construct request
  const request = {
    parent,
    jobId: jobName,
    job,
  };

  // Run request
  const [response] = await batchClient.createJob(request);
  console.log(JSON.stringify(response));
}

await callCreateBatchGPUJobN1();

Python 

from google.cloud import batch_v1


def create_gpu_job(
    project_id: str, region: str, zone: str, job_name: str
) -> batch_v1.Job:
    """
    This method shows how to create a sample Batch Job that will run
    a simple command on Cloud Compute instances on GPU machines.

    Args:
        project_id: project ID or project number of the Cloud project you want to use.
        region: name of the region you want to use to run the job. Regions that are
            available for Batch are listed on: https://cloud.google.com/batch/docs/get-started#locations
        zone: name of the zone you want to use to run the job. Important in regard to GPUs availability.
            GPUs availability can be found here: https://cloud.google.com/compute/docs/gpus/gpu-regions-zones
        job_name: the name of the job that will be created.
            It needs to be unique for each project and region pair.

    Returns:
        A job object representing the job created.
    """
    client = batch_v1.BatchServiceClient()

    # Define what will be done as part of the job.
    task = batch_v1.TaskSpec()
    runnable = batch_v1.Runnable()
    runnable.script = batch_v1.Runnable.Script()
    runnable.script.text = "echo Hello world! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks."
    # You can also run a script from a file. Just remember, that needs to be a script that's
    # already on the VM that will be running the job. Using runnable.script.text and runnable.script.path is mutually
    # exclusive.
    # runnable.script.path = '/tmp/test.sh'
    task.runnables = [runnable]

    # We can specify what resources are requested by each task.
    resources = batch_v1.ComputeResource()
    resources.cpu_milli = 2000  # in milliseconds per cpu-second. This means the task requires 2 whole CPUs.
    resources.memory_mib = 16  # in MiB
    task.compute_resource = resources

    task.max_retry_count = 2
    task.max_run_duration = "3600s"

    # Tasks are grouped inside a job using TaskGroups.
    # Currently, it's possible to have only one task group.
    group = batch_v1.TaskGroup()
    group.task_count = 4
    group.task_spec = task

    # Policies are used to define on what kind of virtual machines the tasks will run on.
    # Read more about machine types here: https://cloud.google.com/compute/docs/machine-types
    policy = batch_v1.AllocationPolicy.InstancePolicy()
    policy.machine_type = "n1-standard-16"

    accelerator = batch_v1.AllocationPolicy.Accelerator()
    # Note: not every accelerator is compatible with instance type
    # Read more here: https://cloud.google.com/compute/docs/gpus#t4-gpus
    accelerator.type_ = "nvidia-tesla-t4"
    accelerator.count = 1

    policy.accelerators = [accelerator]
    instances = batch_v1.AllocationPolicy.InstancePolicyOrTemplate()
    instances.policy = policy
    instances.install_gpu_drivers = True
    allocation_policy = batch_v1.AllocationPolicy()
    allocation_policy.instances = [instances]

    location = batch_v1.AllocationPolicy.LocationPolicy()
    location.allowed_locations = ["zones/us-central1-b"]
    allocation_policy.location = location

    job = batch_v1.Job()
    job.task_groups = [group]
    job.allocation_policy = allocation_policy
    job.labels = {"env": "testing", "type": "container"}
    # We use Cloud Logging as it's an out of the box available option
    job.logs_policy = batch_v1.LogsPolicy()
    job.logs_policy.destination = batch_v1.LogsPolicy.Destination.CLOUD_LOGGING

    create_request = batch_v1.CreateJobRequest()
    create_request.job = job
    create_request.job_id = job_name
    # The job's parent is the region in which the job will run
    create_request.parent = f"projects/{project_id}/locations/{region}"

    return client.create_job(create_request)

Langkah berikutnya