Dokumen ini menjelaskan dasar-dasar pembuatan tugas Batch: cara membuat dan menjalankan tugas yang didasarkan pada skrip atau image container serta menggunakan variabel yang telah ditetapkan dan kustom. Untuk mempelajari lebih lanjut cara membuat dan menjalankan tugas, lihat Ringkasan pembuatan dan eksekusi tugas.
Sebelum memulai
- Jika belum pernah menggunakan Batch, baca Mulai menggunakan Batch dan aktifkan Batch dengan menyelesaikan prasyarat untuk project dan pengguna.
-
Untuk mendapatkan izin yang Anda perlukan untuk membuat tugas, minta administrator untuk memberi Anda peran IAM berikut:
- Editor Tugas Batch (
roles/batch.jobsEditor) di project - Pengguna Akun Layanan (
roles/iam.serviceAccountUser) di akun layanan tugas, yang secara default adalah akun layanan Compute Engine default
Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.
Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.
- Editor Tugas Batch (
-
Setiap kali Anda membuat tugas, pastikan tugas tersebut memiliki konfigurasi resource yang valid.
- Kecuali jika nilai default sudah memadai, Anda harus menentukan kolom resource komputasi per tugas (
computeResource) yang diperlukan untuk menjalankan setiap tugas, seperti yang ditunjukkan dalam dokumen ini. - Jika Anda menentukan resource VM apa pun untuk tugas (kolom
instances[].policy,instances[].instanceTemplate, atauinstanceFlexibilityPolicy), Anda harus memastikan bahwa kolom ini kompatibel satu sama lain dan dengan tugas tersebut.
- Kecuali jika nilai default sudah memadai, Anda harus menentukan kolom resource komputasi per tugas (
-
Setiap kali Anda membuat tugas, pastikan tugas tersebut memiliki konfigurasi jaringan yang valid.
- Jika Anda tidak memiliki persyaratan jaringan khusus untuk workload atau project dan belum mengubah jaringan default untuk project, Anda tidak perlu melakukan tindakan apa pun.
- Jika tidak, Anda perlu mengonfigurasi jaringan saat membuat tugas. Pelajari cara mengonfigurasi jaringan untuk tugas sebelum membuat tugas dasar, sehingga Anda dapat mengubah contoh di bawah untuk memenuhi persyaratan jaringan Anda.
-
Setiap kali Anda membuat tugas, pastikan tugas tersebut memiliki lingkungan sistem operasi (OS) VM yang valid.
- Jika Anda tidak memiliki persyaratan image OS VM atau boot disk tertentu untuk workload atau project, Anda tidak perlu melakukan tindakan apa pun.
- Jika tidak, Anda harus menyiapkan opsi lingkungan OS VM yang valid. Sebelum membuat tugas dasar, izinkan konfigurasi default untuk lingkungan OS VM atau pelajari cara menyesuaikan lingkungan OS VM agar Anda dapat mengubah contoh di bawah untuk memenuhi persyaratan Anda.
Membuat tugas dasar
Untuk mengetahui informasi tentang semua kolom yang dapat Anda tentukan untuk tugas, lihat dokumentasi referensi untuk resource REST projects.locations.jobs.
Singkatnya, tugas terdiri dari array dari satu atau beberapa tugas
yang semuanya menjalankan satu atau beberapa
runnable,
yang merupakan skrip dan/atau container yang dapat dieksekusi untuk tugas Anda.
Untuk membahas dasar-dasarnya, bagian ini menjelaskan cara membuat contoh tugas dengan
hanya satu runnable, baik skrip maupun image container:
- Jika Anda ingin menggunakan Batch untuk menulis tugas yang menjalankan image container, lihat membuat tugas container.
- Atau, jika Anda tidak yakin apakah ingin menggunakan image container atau jika Anda tidak terbiasa dengan container, sebaiknya buat tugas skrip.
Contoh tugas untuk kedua jenis tugas berisi grup tugas dengan array 4 tugas. Setiap tugas mencetak pesan dan indeksnya ke output standar dan Cloud Logging. Definisi untuk tugas ini menentukan paralelisme 2, yang menunjukkan bahwa tugas harus dijalankan di 2 VM agar 2 tugas dapat dijalankan sekaligus.
Membuat tugas container dasar
Anda dapat memilih atau membuat image container untuk menyediakan kode dan dependensi agar tugas Anda dapat dijalankan dari lingkungan komputasi mana pun. Untuk mengetahui informasi selengkapnya, lihat Menjalankan image container dan Menjalankan container di instance VM.
Anda dapat membuat tugas container dasar menggunakan konsol Google Cloud , gcloud CLI, Batch API, Go, Java, Node.js, Python, atau C++.
Konsol
Untuk membuat tugas container dasar menggunakan konsol Google Cloud , lakukan hal berikut:
Di konsol Google Cloud , buka halaman Job list.
Klik Create. Halaman Create batch job akan terbuka. Di panel kiri, halaman Job details dipilih.
Konfigurasikan halaman Job details:
Opsional: Di kolom Job name, sesuaikan nama tugas.
Misalnya, masukkan
example-basic-job.Konfigurasi bagian Task details:
Di jendela New runnable, tambahkan minimal satu skrip atau container untuk menjalankan tugas ini.
Misalnya, untuk menambahkan satu penampung, lakukan hal berikut:
Pilih URL image container (default).
Di kolom Container image URL, masukkan URL untuk image container yang ingin Anda jalankan untuk setiap tugas dalam job ini.
Misalnya, untuk menggunakan image container Docker
busybox, masukkan URL berikut:gcr.io/google-containers/busyboxOpsional: Untuk mengganti perintah
ENTRYPOINTimage container, masukkan perintah di kolom Entry point.Misalnya, masukkan perintah berikut:
/bin/shOpsional: Untuk mengganti perintah
CMDimage container, lakukan hal berikut:Centang kotak Override container image's CMD command. Kolom akan muncul.
Di kolom, masukkan satu atau beberapa perintah, dengan memisahkan setiap perintah dengan baris baru.
Misalnya, masukkan perintah berikut:
-c echo Hello world! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks.Klik Done.
Di kolom Task count, masukkan jumlah tugas untuk tugas ini. Nilai harus berupa bilangan bulat antara
1dan batas tugas per grup tugas.Misalnya, masukkan
4.Di kolom Parallelism, masukkan jumlah tugas yang akan dijalankan secara serentak. Angka tersebut tidak boleh lebih besar dari jumlah total tugas dan harus berupa bilangan bulat antara
1dan batas tugas paralel per tugas.Misalnya, masukkan
2.
Konfigurasikan halaman Resource specifications:
Di panel kiri, klik Resource specifications. Halaman Resource specifications akan terbuka.
Di bagian VM provisioning model, pilih salah satu opsi berikut untuk model penyediaan VM tugas ini:
Jika tugas Anda dapat bertahan dari preemption dan Anda menginginkan VM dengan diskon, pilih Spot. Pelajari lebih lanjut rekomendasi untuk Spot VM.
Jika tidak, pilih Standard.
Misalnya, pilih Standard (default).
Pilih lokasi untuk tugas ini:
Di kolom Region, pilih region.
Misalnya, pilih
us-central1 (Iowa)(default).Di kolom Zone, lakukan salah satu langkah berikut:
Jika Anda ingin membatasi tugas ini agar hanya berjalan di zona tertentu, pilih zona.
Jika tidak, pilih any.
Misalnya, pilih any (default).
Di bagian Machine type configuration, konfigurasikan jenis mesin untuk VM tugas ini:
Untuk menentukan satu jenis mesin, pilih Fixed machine type (default).
Pilih salah satu kelompok mesin berikut:
Untuk workload umum, klik General purpose.
Untuk workload yang membutuhkan performa intensif, klik Compute optimized.
Untuk workload dengan kerja memori intensif, klik Memory optimized.
Untuk workload yang dioptimalkan untuk akselerator, klik GPUs. Untuk mengetahui informasi selengkapnya, lihat Membuat dan menjalankan tugas yang menggunakan GPU.
Misalnya, klik General purpose (default).
Di kolom Series, pilih seri mesin untuk VM tugas ini.
Misalnya, jika Anda memilih General purpose untuk kelompok mesin, pilih E2 (default).
Di kolom Machine type, pilih jenis mesin untuk VM tugas ini.
Misalnya, jika Anda memilih E2 untuk seri mesin, pilih e2-medium (2 vCPU, 4 GB memory) (default).
Di bagian Task resources, konfigurasikan jumlah resource VM yang diperlukan untuk setiap tugas:
Di kolom Cores, masukkan jumlah vCPUs per tugas.
Misalnya, masukkan
1(default).Di kolom Memory, masukkan jumlah RAM dalam GB per tugas.
Misalnya, masukkan
0.5(default).
Opsional: Untuk meninjau konfigurasi tugas, di panel kiri, klik Preview.
Klik Create.
Halaman Job details menampilkan tugas yang Anda buat.
gcloud
Untuk membuat tugas container dasar menggunakan gcloud CLI, lakukan langkah berikut:
Buat file JSON yang menentukan detail konfigurasi tugas Anda. Misalnya, untuk membuat tugas container dasar, buat file JSON dengan konten berikut. Untuk mengetahui informasi selengkapnya tentang semua kolom yang dapat Anda tentukan untuk tugas, lihat dokumentasi referensi untuk resource REST
projects.locations.jobs.{ "taskGroups": [ { "taskSpec": { "runnables": [ { "container": { CONTAINER } } ], "computeResource": { "cpuMilli": CORES, "memoryMib": MEMORY }, "maxRetryCount": MAX_RETRY_COUNT, "maxRunDuration": "MAX_RUN_DURATION" }, "taskCount": TASK_COUNT, "parallelism": PARALLELISM } ] }Ganti kode berikut:
CONTAINER: container yang dijalankan setiap tugas. Minimal, container harus menentukan image di subkolomimageUri, tetapi subkolom tambahan mungkin juga diperlukan. Untuk mengetahui informasi selengkapnya, lihat subkolomcontainerdan contoh tugas container di bagian ini.CORES: Opsional. Jumlah core—khususnya vCPUs, yang biasanya mewakili setengah core fisik—yang akan dialokasikan untuk setiap tugas dalam unit milliCPU. Jika kolomcpuMillitidak ditentukan, nilainya akan ditetapkan ke2000(2 vCPU).MEMORY: Opsional. Jumlah memori yang akan dialokasikan untuk setiap tugas dalam MB. Jika kolommemoryMibtidak ditentukan, nilainya akan ditetapkan ke2000(2 GB).MAX_RETRY_COUNT: Opsional. Jumlah maksimum percobaan ulang untuk tugas. Nilai harus berupa bilangan bulat antara0dan10. Jika kolommaxRetryCounttidak ditentukan, nilainya akan ditetapkan ke0, yang berarti tidak akan mencoba ulang tugas. Untuk mengetahui informasi selengkapnya tentang kolommaxRetryCount, lihat Mengotomatiskan percobaan ulang tugas.MAX_RUN_DURATION: Opsional. Waktu maksimum yang diizinkan untuk menjalankan tugas sebelum dicoba lagi atau gagal, diformat sebagai nilai dalam detik diikuti dengans—misalnya,3600suntuk 1 jam. Jika kolommaxRunDurationtidak ditentukan, nilainya akan ditetapkan ke waktu proses maksimum untuk tugas. Untuk mengetahui informasi selengkapnya tentang kolommaxRunDuration, lihat Membatasi waktu proses untuk tugas dan runnable menggunakan waktu tunggu.TASK_COUNT: Opsional. Jumlah tugas untuk job. Nilai harus berupa bilangan bulat antara1dan batas tugas per grup tugas. Jika kolomtaskCounttidak ditentukan, nilainya akan ditetapkan ke1.PARALLELISM: Opsional. Jumlah tugas yang dijalankan secara serentak oleh tugas. Angka ini tidak boleh lebih besar dari jumlah tugas dan harus berupa bilangan bulat antara1dan batas tugas paralel per tugas. Jika kolomparallelismtidak ditentukan, nilainya akan ditetapkan ke1.
Buat tugas menggunakan perintah
gcloud batch jobs submit.gcloud batch jobs submit JOB_NAME \ --location LOCATION \ --config JSON_CONFIGURATION_FILEGanti kode berikut:
JOB_NAME: nama tugas.LOCATION: lokasi tugas.JSON_CONFIGURATION_FILE: jalur untuk file JSON dengan detail konfigurasi tugas.
Misalnya, untuk membuat tugas yang menjalankan tugas menggunakan
image container Docker busybox:
Buat file JSON di direktori saat ini bernama
hello-world-container.jsondengan konten berikut:{ "taskGroups": [ { "taskSpec": { "runnables": [ { "container": { "imageUri": "gcr.io/google-containers/busybox", "entrypoint": "/bin/sh", "commands": [ "-c", "echo Hello world! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks." ] } } ], "computeResource": { "cpuMilli": 2000, "memoryMib": 16 }, "maxRetryCount": 2, "maxRunDuration": "3600s" }, "taskCount": 4, "parallelism": 2 } ], "allocationPolicy": { "instances": [ { "policy": { "machineType": "e2-standard-4" } } ] }, "labels": { "department": "finance", "env": "testing" }, "logsPolicy": { "destination": "CLOUD_LOGGING" } }Jalankan perintah berikut:
gcloud batch jobs submit example-container-job \ --location us-central1 \ --config hello-world-container.json
API
Untuk membuat tugas container dasar menggunakan Batch API, gunakan
metode jobs.create.
Untuk mengetahui informasi selengkapnya tentang semua kolom yang dapat Anda tentukan untuk tugas, lihat dokumentasi referensi untuk resource REST projects.locations.jobs.
POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs?job_id=JOB_NAME
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"container": {
CONTAINER
}
}
],
"computeResource": {
"cpuMilli": CORES,
"memoryMib": MEMORY
},
"maxRetryCount": MAX_RETRY_COUNT,
"maxRunDuration": "MAX_RUN_DURATION"
},
"taskCount": TASK_COUNT,
"parallelism": PARALLELISM
}
]
}
Ganti kode berikut:
PROJECT_ID: Project ID project Anda.LOCATION: lokasi tugas.JOB_NAME: nama tugas.CONTAINER: container yang dijalankan setiap tugas. Minimal, container harus menentukan image di subkolomimageUri, tetapi subkolom tambahan mungkin juga diperlukan. Untuk mengetahui informasi selengkapnya, lihat subkolomcontainerdan contoh tugas container di bagian ini.CORES: Opsional. Jumlah core—khususnya vCPUs, yang biasanya mewakili setengah core fisik—yang akan dialokasikan untuk setiap tugas dalam unit milliCPU. Jika kolomcpuMillitidak ditentukan, nilai akan ditetapkan ke2000(2 vCPU).MEMORY: Opsional. Jumlah memori yang akan dialokasikan untuk setiap tugas dalam MB. Jika kolommemoryMibtidak ditentukan, nilainya akan ditetapkan ke2000(2 GB).MAX_RETRY_COUNT: Opsional. Jumlah maksimum percobaan ulang untuk tugas. Nilai harus berupa bilangan bulat antara0dan10. Jika kolommaxRetryCounttidak ditentukan, nilainya akan ditetapkan ke0, yang berarti tidak akan mencoba ulang tugas. Untuk mengetahui informasi selengkapnya tentang kolommaxRetryCount, lihat Mengotomatiskan percobaan ulang tugas.MAX_RUN_DURATION: Opsional. Waktu maksimum yang diizinkan untuk menjalankan tugas sebelum dicoba lagi atau gagal, diformat sebagai nilai dalam detik diikuti dengans—misalnya,3600suntuk 1 jam. Jika kolommaxRunDurationtidak ditentukan, nilainya akan ditetapkan ke waktu proses maksimum untuk tugas. Untuk mengetahui informasi selengkapnya tentang kolommaxRunDuration, lihat Membatasi waktu proses untuk tugas dan runnable menggunakan waktu tunggu.TASK_COUNT: Opsional. Jumlah tugas untuk job, yang harus berupa bilangan bulat antara1dan batas tugas per grup tugas. Jika kolomtaskCounttidak ditentukan, nilainya akan ditetapkan ke1.PARALLELISM: Opsional. Jumlah tugas yang dijalankan secara serentak oleh tugas. Angka tersebut tidak boleh lebih besar dari jumlah tugas dan harus berupa bilangan bulat antara1dan batas tugas paralel per tugas. Jika kolomparallelismtidak ditentukan, nilainya akan ditetapkan ke1.
Misalnya, untuk membuat tugas yang menjalankan tugas menggunakan
image container Docker busybox,
gunakan permintaan berikut:
POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/jobs?job_id=example-container-job
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"container": {
"imageUri": "gcr.io/google-containers/busybox",
"entrypoint": "/bin/sh",
"commands": [
"-c",
"echo Hello world! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks."
]
}
}
],
"computeResource": {
"cpuMilli": 2000,
"memoryMib": 16
},
"maxRetryCount": 2,
"maxRunDuration": "3600s"
},
"taskCount": 4,
"parallelism": 2
}
],
"allocationPolicy": {
"instances": [
{
"policy": { "machineType": "e2-standard-4" }
}
]
},
"labels": {
"department": "finance",
"env": "testing"
},
"logsPolicy": {
"destination": "CLOUD_LOGGING"
}
}
dengan PROJECT_ID adalah
project ID
project Anda.
Go
Go
Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Batch Go API.
Untuk melakukan autentikasi ke Batch, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Java
Java
Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Batch Java API.
Untuk melakukan autentikasi ke Batch, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Node.js
Node.js
Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Batch Node.js API.
Untuk melakukan autentikasi ke Batch, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Python
Python
Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Batch Python API.
Untuk melakukan autentikasi ke Batch, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
C++
C++
Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Batch C++ API.
Untuk melakukan autentikasi ke Batch, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Membuat tugas skrip dasar
Anda dapat membuat tugas skrip dasar menggunakan konsol Google Cloud , gcloud CLI, Batch API, Go, Java, Node.js, Python, atau C++.
Konsol
Untuk membuat tugas skrip dasar menggunakan konsol Google Cloud , lakukan hal berikut:
Di konsol Google Cloud , buka halaman Job list.
Klik Create. Halaman Create batch job akan terbuka. Di panel kiri, halaman Job details dipilih.
Konfigurasikan halaman Job details:
Opsional: Di kolom Job name, sesuaikan nama tugas.
Misalnya, masukkan
example-basic-job.Konfigurasi bagian Task details:
Di jendela New runnable, tambahkan minimal satu skrip atau container untuk menjalankan tugas ini.
Misalnya, untuk menambahkan satu skrip, lakukan tindakan berikut:
Pilih Skrip. Kolom akan muncul.
Di kolom tersebut, masukkan skrip yang ingin Anda jalankan untuk setiap tugas dalam tugas ini.
Misalnya, masukkan skrip berikut:
echo Hello world! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks.Klik Done.
Di kolom Task count, masukkan jumlah tugas untuk tugas ini. Nilai harus berupa bilangan bulat antara
1dan batas tugas per grup tugas.Misalnya, masukkan
4.Di kolom Parallelism, masukkan jumlah tugas yang akan dijalankan secara serentak. Angka tersebut tidak boleh lebih besar dari jumlah total tugas dan harus berupa bilangan bulat antara
1dan batas tugas paralel per tugas.Misalnya, masukkan
2.
Konfigurasikan halaman Resource specifications:
Di panel kiri, klik Resource specifications. Halaman Resource specifications akan terbuka.
Di bagian VM provisioning model, pilih salah satu opsi berikut untuk model penyediaan VM tugas ini:
Jika tugas Anda dapat bertahan dari preemption dan Anda menginginkan VM dengan diskon, pilih Spot. Pelajari lebih lanjut rekomendasi untuk Spot VM.
Jika tidak, pilih Standard.
Misalnya, pilih Standard (default).
Pilih lokasi untuk tugas ini:
Di kolom Region, pilih region.
Misalnya, pilih
us-central1 (Iowa)(default).Di kolom Zone, lakukan salah satu langkah berikut:
Jika Anda ingin membatasi tugas ini agar hanya berjalan di zona tertentu, pilih zona.
Jika tidak, pilih any.
Misalnya, pilih any (default).
Di bagian Machine type configuration, konfigurasikan jenis mesin untuk VM tugas ini:
Untuk menentukan satu jenis mesin, pilih Fixed machine type (default).
Pilih salah satu kelompok mesin berikut:
Untuk workload umum, klik General purpose.
Untuk workload yang membutuhkan performa intensif, klik Compute optimized.
Untuk workload dengan kerja memori intensif, klik Memory optimized.
Untuk workload yang dioptimalkan untuk akselerator, klik GPUs. Untuk mengetahui informasi selengkapnya, lihat Membuat dan menjalankan tugas yang menggunakan GPU.
Misalnya, klik General purpose (default).
Di kolom Series, pilih seri mesin untuk VM tugas ini.
Misalnya, jika Anda memilih General purpose untuk kelompok mesin, pilih E2 (default).
Di kolom Machine type, pilih jenis mesin untuk VM tugas ini.
Misalnya, jika Anda memilih E2 untuk seri mesin, pilih e2-medium (2 vCPU, 4 GB memory) (default).
Di bagian Task resources, konfigurasikan jumlah resource VM yang diperlukan untuk setiap tugas:
Di kolom Cores, masukkan jumlah vCPUs per tugas.
Misalnya, masukkan
1(default).Di kolom Memory, masukkan jumlah RAM dalam GB per tugas.
Misalnya, masukkan
0.5(default).
Opsional: Untuk meninjau konfigurasi tugas, di panel kiri, klik Preview.
Klik Create.
Halaman Job details menampilkan tugas yang Anda buat.
gcloud
Untuk membuat tugas skrip dasar menggunakan gcloud CLI, lakukan hal berikut:
Buat file JSON yang menentukan detail konfigurasi tugas Anda. Misalnya, untuk membuat tugas skrip dasar, buat file JSON dengan konten berikut. Untuk mengetahui informasi selengkapnya tentang semua kolom yang dapat Anda tentukan untuk tugas, lihat dokumentasi referensi untuk resource REST
projects.locations.jobs.{ "taskGroups": [ { "taskSpec": { "runnables": [ { "script": { SCRIPT } } ], "computeResource": { "cpuMilli": CORES, "memoryMib": MEMORY }, "maxRetryCount": MAX_RETRY_COUNT, "maxRunDuration": "MAX_RUN_DURATION" }, "taskCount": TASK_COUNT, "parallelism": PARALLELISM } ] }Ganti kode berikut:
SCRIPT: skrip yang dijalankan setiap tugas. Skrip harus ditentukan sebagai teks menggunakan subkolomtextatau sebagai jalur ke file yang dapat diakses menggunakan subkolompath. Untuk mengetahui informasi selengkapnya, lihat subkolomscriptdan contoh tugas skrip di bagian ini.CORES: Opsional. Jumlah core—khususnya vCPUs, yang biasanya mewakili setengah core fisik—yang akan dialokasikan untuk setiap tugas dalam unit milliCPU. Jika kolomcpuMillitidak ditentukan, nilainya akan ditetapkan ke2000(2 vCPU).MEMORY: Opsional. Jumlah memori yang akan dialokasikan untuk setiap tugas dalam MB. Jika kolommemoryMibtidak ditentukan, nilainya akan ditetapkan ke2000(2 GB).MAX_RETRY_COUNT: Opsional. Jumlah maksimum percobaan ulang untuk tugas. Nilai harus berupa bilangan bulat antara0dan10. Jika kolommaxRetryCounttidak ditentukan, nilainya akan ditetapkan ke0, yang berarti tidak akan mencoba ulang tugas. Untuk mengetahui informasi selengkapnya tentang kolommaxRetryCount, lihat Mengotomatiskan percobaan ulang tugas.MAX_RUN_DURATION: Opsional. Waktu maksimum yang diizinkan untuk menjalankan tugas sebelum dicoba lagi atau gagal, diformat sebagai nilai dalam detik diikuti dengans—misalnya,3600suntuk 1 jam. Jika kolommaxRunDurationtidak ditentukan, nilainya akan ditetapkan ke waktu proses maksimum untuk tugas. Untuk mengetahui informasi selengkapnya tentang kolommaxRunDuration, lihat Membatasi waktu proses untuk tugas dan runnable menggunakan waktu tunggu.TASK_COUNT: Opsional. Jumlah tugas untuk job. Nilai harus berupa bilangan bulat antara1dan batas tugas per grup tugas. Jika kolomtaskCounttidak ditentukan, nilainya akan ditetapkan ke1.PARALLELISM: Opsional. Jumlah tugas yang dijalankan secara serentak oleh tugas. Angka ini tidak boleh lebih besar dari jumlah tugas dan harus berupa bilangan bulat antara1dan batas tugas paralel per tugas. Jika kolomparallelismtidak ditentukan, nilainya akan ditetapkan ke1.
Buat tugas menggunakan perintah
gcloud batch jobs submit.gcloud batch jobs submit JOB_NAME \ --location LOCATION \ --config JSON_CONFIGURATION_FILEGanti kode berikut:
JOB_NAME: nama tugas.LOCATION: lokasi tugas.JSON_CONFIGURATION_FILE: jalur untuk file JSON dengan detail konfigurasi tugas.
Misalnya, untuk membuat tugas yang menjalankan tugas menggunakan skrip:
Buat file JSON di direktori saat ini bernama
hello-world-script.jsondengan konten berikut:{ "taskGroups": [ { "taskSpec": { "runnables": [ { "script": { "text": "echo Hello world! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks." } } ], "computeResource": { "cpuMilli": 2000, "memoryMib": 16 }, "maxRetryCount": 2, "maxRunDuration": "3600s" }, "taskCount": 4, "parallelism": 2 } ], "allocationPolicy": { "instances": [ { "policy": { "machineType": "e2-standard-4" } } ] }, "labels": { "department": "finance", "env": "testing" }, "logsPolicy": { "destination": "CLOUD_LOGGING" } }Jalankan perintah berikut:
gcloud batch jobs submit example-script-job \ --location us-central1 \ --config hello-world-script.json
API
Untuk membuat tugas skrip dasar menggunakan Batch API, gunakan
metode jobs.create.
Untuk mengetahui informasi selengkapnya tentang semua kolom yang dapat Anda tentukan untuk tugas, lihat dokumentasi referensi untuk resource REST projects.locations.jobs.
POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs?job_id=JOB_NAME
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"script": {
SCRIPT
}
}
],
"computeResource": {
"cpuMilli": CORES,
"memoryMib": MEMORY
},
"maxRetryCount": MAX_RETRY_COUNT,
"maxRunDuration": "MAX_RUN_DURATION"
},
"taskCount": TASK_COUNT,
"parallelism": PARALLELISM
}
]
}
Ganti kode berikut:
PROJECT_ID: Project ID project Anda.LOCATION: lokasi tugas.JOB_NAME: nama tugas.SCRIPT: skrip yang dijalankan setiap tugas. Skrip harus ditentukan sebagai teks menggunakan subkolomtextatau sebagai jalur ke file yang dapat diakses menggunakan subkolompath. Untuk mengetahui informasi selengkapnya, lihat subkolomscriptdan contoh tugas skrip di bagian ini.CORES: Opsional. Jumlah core—khususnya vCPUs, yang biasanya mewakili setengah core fisik—yang akan dialokasikan untuk setiap tugas dalam unit milliCPU. Jika kolomcpuMillitidak ditentukan, nilai akan ditetapkan ke2000(2 vCPU).MEMORY: Opsional. Jumlah memori yang akan dialokasikan untuk setiap tugas dalam MB. Jika kolommemoryMibtidak ditentukan, nilainya akan ditetapkan ke2000(2 GB).MAX_RETRY_COUNT: Opsional. Jumlah maksimum percobaan ulang untuk tugas. Nilai harus berupa bilangan bulat antara0dan10. Jika kolommaxRetryCounttidak ditentukan, nilainya akan ditetapkan ke0, yang berarti tidak akan mencoba ulang tugas. Untuk mengetahui informasi selengkapnya tentang kolommaxRetryCount, lihat Mengotomatiskan percobaan ulang tugas.MAX_RUN_DURATION: Opsional. Waktu maksimum yang diizinkan untuk menjalankan tugas sebelum dicoba lagi atau gagal, diformat sebagai nilai dalam detik diikuti dengans—misalnya,3600suntuk 1 jam. Jika kolommaxRunDurationtidak ditentukan, nilainya akan ditetapkan ke waktu proses maksimum untuk tugas. Untuk mengetahui informasi selengkapnya tentang kolommaxRunDuration, lihat Membatasi waktu proses untuk tugas dan runnable menggunakan waktu tunggu.TASK_COUNT: Opsional. Jumlah tugas untuk job. Nilai harus berupa bilangan bulat antara1dan batas tugas per grup tugas. Jika kolomtaskCounttidak ditentukan, nilainya akan ditetapkan ke1.PARALLELISM: Opsional. Jumlah tugas yang dijalankan secara serentak oleh tugas. Angka tersebut tidak boleh lebih besar dari jumlah tugas dan harus berupa bilangan bulat antara1dan batas tugas paralel per tugas. Jika kolomparallelismtidak ditentukan, nilainya akan ditetapkan ke1.
Misalnya, untuk membuat tugas yang menjalankan tugas menggunakan skrip, gunakan permintaan berikut:
POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/jobs?job_id=example-script-job
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"script": {
"text": "echo Hello world! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks."
}
}
],
"computeResource": {
"cpuMilli": 2000,
"memoryMib": 16
},
"maxRetryCount": 2,
"maxRunDuration": "3600s"
},
"taskCount": 4,
"parallelism": 2
}
],
"allocationPolicy": {
"instances": [
{
"policy": { "machineType": "e2-standard-4" }
}
]
},
"labels": {
"department": "finance",
"env": "testing"
},
"logsPolicy": {
"destination": "CLOUD_LOGGING"
}
}
dengan PROJECT_ID adalah
project ID
project Anda.
Go
Go
Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Batch Go API.
Untuk melakukan autentikasi ke Batch, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Java
Java
Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Batch Java API.
Untuk melakukan autentikasi ke Batch, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Node.js
Node.js
Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Batch Node.js API.
Untuk melakukan autentikasi ke Batch, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Python
Python
Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Batch Python API.
Untuk melakukan autentikasi ke Batch, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
C++
C++
Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Batch C++ API.
Untuk melakukan autentikasi ke Batch, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Menggunakan variabel lingkungan
Gunakan variabel lingkungan saat Anda menulis image container atau skrip yang ingin dijalankan oleh tugas. Anda dapat menggunakan salah satu variabel lingkungan yang telah ditetapkan untuk semua tugas Batch dan variabel lingkungan kustom yang Anda tentukan saat membuat tugas.
Menggunakan variabel lingkungan yang telah ditetapkan sebelumnya
Secara default, runnable dalam tugas Anda dapat menggunakan variabel lingkungan yang telah ditetapkan berikut:
BATCH_TASK_COUNT: jumlah total tugas dalam grup tugas ini.BATCH_TASK_INDEX: nomor indeks tugas ini dalam grup tugas. Indeks tugas pertama adalah0dan bertambah untuk setiap tugas tambahan.BATCH_HOSTS_FILE: jalur ke file yang mencantumkan semua instance VM yang berjalan di grup tugas ini. Untuk menggunakan variabel lingkungan ini, kolomrequireHostsFileharus ditetapkan ketrue.BATCH_TASK_RETRY_ATTEMPT: berapa kali tugas ini telah dicoba. Nilainya adalah0selama upaya pertama tugas dan bertambah untuk setiap percobaan ulang berikutnya. Jumlah total percobaan ulang yang diizinkan untuk suatu tugas ditentukan oleh nilai kolommaxRetryCount, yaitu0jika tidak ditentukan. Untuk mengetahui informasi selengkapnya tentang percobaan ulang, lihat Mengotomatiskan percobaan ulang tugas.
Untuk contoh cara menggunakan variabel lingkungan yang telah ditetapkan, lihat contoh runnable sebelumnya di Membuat tugas dasar dalam dokumen ini.
Menentukan dan menggunakan variabel lingkungan kustom
Secara opsional, Anda dapat menentukan satu atau beberapa variabel lingkungan kustom dalam tugas.
Anda menentukan setiap variabel di lingkungan tertentu berdasarkan cakupan data yang diinginkan:
Untuk variabel yang memiliki nilai yang sama untuk semua tugas, gunakan salah satu dari berikut ini:
Jika variabel memiliki nilai yang sama untuk semua runnable, gunakan lingkungan semua runnable (subkolom
environmentdaritaskSpec).Jika tidak, jika variabel memiliki nilai terpisah untuk semua runnable, gunakan satu atau beberapa lingkungan runnable tertentu (subkolom
environmentdarirunnables[]).
Jika tidak, untuk variabel array yang memiliki nilai terpisah untuk setiap tugas, gunakan lingkungan semua tugas (
taskEnvironment).
Di lingkungan yang dipilih, Anda menentukan nama dan nilai setiap variabel menggunakan salah satu subkolom lingkungan berikut:
Untuk menentukan variabel secara langsung dalam file JSON konfigurasi tugas, gunakan subkolom variabel standar (
variables), seperti yang ditunjukkan di bagian ini. Opsi ini direkomendasikan untuk data yang tidak ingin Anda enkripsi.Untuk menentukan variabel menggunakan data terenkripsi, Anda dapat menggunakan Secret Manager atau Cloud Key Management Service:
Untuk menggunakan konten terenkripsi dari secret Secret Manager yang ada, gunakan subkolom variabel secret (
secretVariables). Untuk mengetahui informasi selengkapnya tentang penggunaan secret dalam tugas, lihat Melindungi data sensitif menggunakan Secret Manager.Untuk menggunakan konten terenkripsi dari kunci Cloud Key Management Service yang ada, gunakan subkolom variabel terenkripsi (
encryptedVariables). Untuk mengetahui informasi selengkapnya tentang kunci Cloud KMS, lihat dokumentasi untuk Cloud Key Management Service.
Anda dapat menentukan dan menggunakan variabel lingkungan kustom untuk tugas Anda menggunakan gcloud CLI atau Batch API. Contoh berikut menjelaskan cara membuat dua tugas yang menentukan dan menggunakan variabel standar. Tugas contoh pertama memiliki variabel untuk runnable tertentu. Tugas contoh kedua memiliki variabel array, yang memiliki nilai berbeda untuk setiap tugas.
gcloud
Jika Anda ingin menentukan tugas yang meneruskan variabel lingkungan ke runnable yang dijalankan setiap tugas, lihat contoh cara Menentukan dan menggunakan variabel lingkungan untuk runnable. Atau, jika Anda ingin menentukan tugas yang meneruskan daftar variabel lingkungan ke tugas yang berbeda berdasarkan indeks tugas, lihat contoh cara Menentukan dan menggunakan variabel lingkungan untuk setiap tugas.
Menentukan dan menggunakan variabel lingkungan untuk runnable
Untuk membuat tugas yang meneruskan variabel lingkungan ke runnable menggunakan
gcloud CLI, gunakan
perintah gcloud batch jobs submit
dan tentukan variabel lingkungan dalam file konfigurasi tugas.
Misalnya, untuk membuat tugas skrip yang menentukan variabel lingkungan dan meneruskannya ke skrip 3 tugas, buat permintaan berikut:
Buat file JSON di direktori saat ini bernama
hello-world-environment-variables.jsondengan konten berikut:{ "taskGroups": [ { "taskSpec": { "runnables": [ { "script": { "text": "echo Hello ${VARIABLE_NAME}! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks." }, "environment": { "variables": { "VARIABLE_NAME": "VARIABLE_VALUE" } } } ], "computeResource": { "cpuMilli": 2000, "memoryMib": 16 } }, "taskCount": 3, "parallelism": 1 } ], "allocationPolicy": { "instances": [ { "policy": { "machineType": "e2-standard-4" } } ] } }Ganti kode berikut:
VARIABLE_NAME: nama variabel lingkungan yang diteruskan ke setiap tugas. Berdasarkan konvensi, nama variabel lingkungan menggunakan huruf kapital.VARIABLE_VALUE: Opsional. Nilai variabel lingkungan yang diteruskan ke setiap tugas.
Jalankan perintah berikut:
gcloud batch jobs submit example-environment-variables-job \ --location us-central1 \ --config hello-world-environment-variables.json
Menentukan dan menggunakan variabel lingkungan untuk setiap tugas
Untuk membuat tugas yang meneruskan variabel lingkungan ke tugas berdasarkan indeks tugas menggunakan gcloud CLI, gunakan perintah gcloud batch jobs submit dan tentukan kolom array taskEnvironments dalam file konfigurasi tugas.
Misalnya, untuk membuat tugas yang menyertakan array berisi 3 variabel lingkungan dengan nama yang cocok dan nilai yang berbeda, serta meneruskan variabel lingkungan ke skrip tugas yang indeksnya cocok dengan indeks variabel lingkungan dalam array:
Buat file JSON di direktori saat ini bernama
hello-world-task-environment-variables.jsondengan konten berikut:{ "taskGroups": [ { "taskSpec": { "runnables": [ { "script": { "text": "echo Hello ${TASK_VARIABLE_NAME}! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks." }, } ], "computeResource": { "cpuMilli": 2000, "memoryMib": 16 } }, "taskCount": 3, "taskEnvironments": [ { "variables": { "TASK_VARIABLE_NAME": "TASK_VARIABLE_VALUE_0" } }, { "variables": { "TASK_VARIABLE_NAME": "TASK_VARIABLE_VALUE_1" } }, { "variables": { "TASK_VARIABLE_NAME": "TASK_VARIABLE_VALUE_2" } } ] } ], "allocationPolicy": { "instances": [ { "policy": { "machineType": "e2-standard-4" } } ] } }Ganti kode berikut:
TASK_VARIABLE_NAME: nama variabel lingkungan tugas yang diteruskan ke tugas dengan indeks yang cocok. Berdasarkan konvensi, nama variabel lingkungan ditulis dengan huruf kapital.TASK_VARIABLE_VALUE_0: nilai variabel lingkungan yang diteruskan ke tugas pertama, denganBATCH_TASK_INDEXsama dengan0.TASK_VARIABLE_VALUE_1: nilai variabel lingkungan yang diteruskan ke tugas kedua, denganBATCH_TASK_INDEXsama dengan1.TASK_VARIABLE_VALUE_2: nilai variabel lingkungan yang diteruskan ke tugas ketiga, denganBATCH_TASK_INDEXsama dengan2.
Jalankan perintah berikut:
gcloud batch jobs submit example-task-environment-variables-job \ --location us-central1 \ --config hello-world-task-environment-variables.json
API
Jika Anda ingin menentukan tugas yang meneruskan variabel lingkungan ke runnable yang dijalankan setiap tugas, lihat contoh cara Menentukan dan menggunakan variabel lingkungan untuk runnable. Atau, jika Anda ingin menentukan tugas yang meneruskan daftar variabel lingkungan ke tugas yang berbeda berdasarkan indeks tugas, lihat contoh cara Menentukan dan menggunakan variabel lingkungan untuk setiap tugas.
Menentukan dan menggunakan variabel lingkungan untuk runnable
Untuk membuat tugas yang meneruskan variabel lingkungan ke runnable menggunakan Batch API, gunakan perintah gcloud batch jobs submit dan tentukan variabel lingkungan di kolom environment.
Misalnya, untuk membuat tugas yang menyertakan variabel lingkungan dan meneruskannya ke skrip 3 tugas, buat permintaan berikut:
POST https://batch.googleapis.com/v1/projects/<var>PROJECT_ID</var>/locations/us-central1/jobs?job_id=example-environment-variables-job
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"script": {
"text": "echo Hello ${VARIABLE_NAME}! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks."
},
"environment": {
"variables": {
"VARIABLE_NAME": "VARIABLE_VALUE"
}
}
}
],
"computeResource": {
"cpuMilli": 2000,
"memoryMib": 16
}
},
"taskCount": 3,
"parallelism": 1
}
],
"allocationPolicy": {
"instances": [
{
"policy": {
"machineType": "e2-standard-4"
}
}
]
}
}
Ganti kode berikut:
PROJECT_ID: Project ID project Anda.VARIABLE_NAME: nama variabel lingkungan yang diteruskan ke setiap tugas. Berdasarkan konvensi, nama variabel lingkungan ditulis dengan huruf kapital.VARIABLE_VALUE: nilai variabel lingkungan yang diteruskan ke setiap tugas.
Menentukan dan menggunakan variabel lingkungan untuk setiap tugas
Untuk membuat tugas yang meneruskan variabel lingkungan ke tugas berdasarkan indeks tugas menggunakan Batch API, gunakan metode jobs.create dan tentukan variabel lingkungan di kolom array taskEnvironments.
Misalnya, untuk membuat tugas yang menyertakan array berisi 3 variabel lingkungan dengan nama yang cocok dan nilai yang berbeda, serta meneruskan variabel lingkungan ke skrip 3 tugas berdasarkan indeksnya, buat permintaan berikut:
POST https://batch.googleapis.com/v1/projects/<var>PROJECT_ID</var>/locations/us-central1/jobs?job_id=example-task-environment-variables-job
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"script": {
"text": "echo Hello ${TASK_VARIABLE_NAME}! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks."
},
}
],
"computeResource": {
"cpuMilli": 2000,
"memoryMib": 16
}
},
"taskCount": 3,
"taskEnvironments": [
{
"variables": {
"TASK_VARIABLE_NAME": "TASK_VARIABLE_VALUE_0"
}
},
{
"variables": {
"TASK_VARIABLE_NAME": "TASK_VARIABLE_VALUE_1"
}
},
{
"variables": {
"TASK_VARIABLE_NAME": "TASK_VARIABLE_VALUE_2"
}
}
]
}
],
"allocationPolicy": {
"instances": [
{
"policy": { "machineType": "e2-standard-4" }
}
]
}
}
Ganti kode berikut:
PROJECT_ID: Project ID project Anda.TASK_VARIABLE_NAME: nama variabel lingkungan yang diteruskan ke tugas dengan indeks yang cocok. Berdasarkan konvensi, nama variabel lingkungan ditulis dengan huruf kapital.TASK_VARIABLE_VALUE_0: nilai variabel lingkungan yang diteruskan ke tugas pertama, denganBATCH_TASK_INDEXsama dengan0.TASK_VARIABLE_VALUE_1: nilai variabel lingkungan yang diteruskan ke tugas kedua, denganBATCH_TASK_INDEXsama dengan1.TASK_VARIABLE_VALUE_2: nilai variabel lingkungan yang diteruskan ke tugas ketiga, denganBATCH_TASK_INDEXsama dengan2.
Langkah berikutnya
- Jika Anda mengalami masalah saat membuat atau menjalankan tugas, lihat Pemecahan masalah.
- Melihat tugas.
- Pelajari lebih lanjut opsi pembuatan tugas.