Mulai menggunakan Batch

Halaman ini menjelaskan cara mulai menggunakan Batch untuk Google Cloud.

Ringkasan

Batch adalah layanan terkelola sepenuhnya yang memungkinkan Anda menjadwalkan, mengantrekan, dan menjalankan workload batch processing pada resource Google Cloud . Misalnya, pertimbangkan untuk menggunakan Batch untuk workload komputasi berperforma tinggi (HPC), machine learning (ML), dan pemrosesan data. Batch menyediakan resource dan mengelola kapasitas untuk Anda, sehingga workload batch Anda dapat berjalan dalam skala besar.

Dengan menggunakan Batch, Anda tidak perlu mengonfigurasi dan mengelola penjadwal tugas pihak ketiga, menyediakan dan mencabut akses resource, atau meminta resource satu zona dalam satu waktu. Untuk menjalankan tugas, tentukan parameter untuk resource yang diperlukan bagi workload Anda, lalu Batch mendapatkan resource dan mengantrekan tugas untuk dieksekusi. Batch menyediakan integrasi native dengan layanan Google Cloud lain untuk membantu penjadwalan, eksekusi, penyimpanan, dan analisis tugas batch, sehingga Anda dapat fokus mengirimkan tugas dan memakai hasilnya.

Batch terdiri dari komponen berikut:

  • Tugas: program terjadwal yang menjalankan serangkaian tugas hingga selesai tanpa interaksi pengguna apa pun, biasanya untuk workload komputasi. Misalnya, tugas mungkin berupa skrip shell tunggal atau komputasi multibagian yang kompleks.

    Secara khusus, tugas Batch mewakili array dari satu atau beberapa tugas dan lingkungan untuk menjalankan tugas tersebut. Anda menentukan program untuk tugas sebagai urutan dari satu atau beberapa runnable. Setiap tugas menjalankan urutan runnable pada resource tugas. Anda dapat mengonfigurasi tugas suatu pekerjaan untuk berjalan secara paralel atau berurutan.

  • Tugas: satu eksekusi urutan runnable tugas. Jika tugas memiliki beberapa tugas, Anda menentukan bagaimana Anda ingin setiap eksekusi bervariasi dengan mereferensikan variabel lingkungan untuk indeks tugas dalam runnable tugas.

  • Runnable: skrip atau container yang dapat dieksekusi yang Anda tentukan sebagai bagian dari tugas.

  • Resource: infrastruktur yang diperlukan untuk menjalankan tugas. Setidaknya, Anda hanya perlu menentukan resource komputasi yang diperlukan per tugas: core CPU, memori, dan (jika diperlukan) penyimpanan boot disk tambahan. Secara opsional, Anda juga dapat menentukan opsi resource lain untuk tugas tersebut. Batch otomatis membuat dan menghapus resource yang memenuhi spesifikasi Anda selama waktu proses tugas.

    Secara khusus, setiap tugas Batch berjalan di grup instance terkelola (MIG) regional, yang merupakan grup yang terdiri dari satu atau beberapa instance virtual machine (VM) Compute Engine yang cocok, yang masing-masing berada di salah satu zona yang disertakan. Setiap VM memiliki hardware khusus untuk core CPU dan memori—yang memengaruhi performa tugas Anda—dan boot disk—yang menyimpan image sistem operasi (OS) dan petunjuk untuk menjalankan tugas Anda. Jika ditentukan, tugas mungkin juga menyertakan atau mengakses resource tambahan, seperti GPU, TPU, atau volume penyimpanan eksternal. Jumlah VM yang disediakan untuk tugas bergantung pada persyaratan hardware dan opsi penjadwalan tugas yang Anda tentukan.

Singkatnya, Batch memungkinkan Anda membuat dan menjalankan tugas yang masing-masing menyediakan dan menggunakan resource yang diperlukan untuk menjalankan tugasnya secara otomatis.

Untuk mengetahui informasi selengkapnya tentang perilaku dan opsi tugas, lihat halaman Ringkasan pembuatan dan eksekusi tugas.

Harga

Penggunaan Batch tidak dikenakan biaya tambahan. Anda hanya dikenai biaya untuk resource dasar yang diperlukan untuk menjalankan tugas Anda.

Untuk mengetahui informasi selengkapnya tentang biaya yang terkait dengan Batch dan cara memfilter laporan Penagihan Cloud untuk melihat biaya Batch, lihat Harga.

Pembatasan

Batch memiliki batasan berikut:

  • Anda tidak boleh melebihi Kuota dan batas Batch untuk project Anda.

  • Tugas hanya dapat menggunakan jenis mesin dari seri mesin berikut:

    • Tujuan umum: C4, C4A, C4D, C3, C3D, E2, N4, N4A, N2D, N2, N1, dan T2D
    • Dioptimalkan untuk komputasi: C2, C2D, dan H3
    • Dioptimalkan untuk memori: M3, M2, dan M1
    • Dioptimalkan akselerator:
      • GPU: A4, A3 Ultra, A3 Mega, A3 High, A2, G4, dan G2
      • TPU (khusus slice host tunggal): TPU7x, v6e, dan v5p

  • Anda tidak dapat menentukan lebih dari satu grup tugas per tugas. Semua tugas hanya memiliki satu grup tugas bernama group0.

Prasyarat

Untuk mulai menggunakan Batch, selesaikan prasyarat berikut:

  1. Jika project Anda belum pernah menggunakan Batch, aktifkan Batch untuk project Anda.
  2. Siapkan Batch untuk setiap pengguna baru.

Mengaktifkan Batch untuk project

Untuk mulai menggunakan Batch dengan project, lakukan hal berikut:

  1. Di konsol Google Cloud , pada halaman pemilih project, pilih atau buat project Google Cloud .

    Peran yang diperlukan untuk memilih atau membuat project

    • Memilih project: Memilih project tidak memerlukan peran IAM tertentu—Anda dapat memilih project apa pun yang perannya telah diberikan kepada Anda.
    • Membuat project: Untuk membuat project, Anda memerlukan peran Project Creator (roles/resourcemanager.projectCreator), yang berisi izin resourcemanager.projects.create. Pelajari cara memberikan peran.

    Buka pemilih project

  2. Pastikan penagihan diaktifkan untuk project Google Cloud Anda.

  3. Pastikan Batch diaktifkan untuk project Anda:

    1. Aktifkan Batch, Compute Engine, dan Cloud Logging API, jika belum diaktifkan.

      Peran yang diperlukan untuk mengaktifkan API

      Untuk mengaktifkan API, Anda memerlukan izin serviceusage.services.enable. Jika Anda membuat project, kemungkinan Anda sudah memiliki izin ini melalui peran Pemilik (roles/owner). Jika tidak, Anda bisa mendapatkan izin ini melalui peran Service Usage Admin (roles/serviceusage.serviceUsageAdmin). Pelajari cara memberikan peran.

      Aktifkan API

    2. Pastikan project Anda memiliki satu atau beberapa akun layanan dengan izin yang diperlukan untuk membuat dan mengakses resource untuk menjalankan tugas Batch.

      Yang penting, setiap pengguna yang ingin Anda izinkan untuk membuat dan menjalankan tugas Batch di project Anda harus diberi izin untuk menggunakan salah satu akun layanan ini. Jadi, jangan pilih akun layanan yang memiliki lebih banyak izin daripada yang ingin Anda berikan kepada pengguna ini.

      Akun layanan yang digunakan setiap tugas secara default adalah akun layanan default Compute Engine, tetapi Anda juga dapat menyesuaikan akun layanan yang digunakan tugas.

      Kecuali jika Anda hanya berencana menggunakan konfigurasi default untuk akun layanan tugas, berikan peran IAM berikut ke akun layanan apa pun yang digunakan project Anda untuk tugas Batch.

      • Batch Agent Reporter (roles/batch.agentReporter) di project
      • Untuk mengizinkan tugas membuat log di Cloud Logging: Logs Writer (roles/logging.logWriter) di project

      Akun layanan yang Anda gunakan untuk tugas mungkin juga memerlukan peran tambahan berdasarkan opsi konfigurasi yang ingin Anda gunakan untuk tugas Anda. Lihat dokumentasi untuk setiap tugas guna mengetahui apakah izin tambahan diperlukan. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran ke akun layanan, lihat Membatasi akun layanan dan Mengelola akses ke akun layanan.

    3. Pastikan Anda memahami agen layanan Batch project Anda:

      Setelah Anda membuat tugas Batch, agen layanan Batch akan otomatis dibuat untuk project Anda dengan nama berikut:

      service-PROJECT_NUMBER@gcp-sa-cloudbatch.

      Ganti PROJECT_NUMBER dengan nomor project untuk project Anda.

      Agen layanan Batch secara otomatis diberi peran IAM Agen Layanan Google Batch (roles/batch.serviceAgent). Konfigurasi ini diperlukan agar project Anda dapat menggunakan Batch.

      Namun, kasus penggunaan tertentu—misalnya, menjalankan tugas di jaringan VPC Bersama—mengharuskan Anda memberikan izin tambahan ke agen layanan Batch project Anda.

      Untuk mengetahui informasi selengkapnya, lihat Agen layanan.

Menyiapkan Batch untuk pengguna baru

Untuk mulai menggunakan Batch sebagai pengguna, lakukan hal berikut:

  1. Untuk mendapatkan izin yang diperlukan untuk menggunakan Batch, minta administrator untuk memberi Anda peran IAM yang diperlukan pada project. Lihat dokumentasi untuk setiap tugas guna melihat izin yang diperlukan.

    Misalnya, jika Anda ingin mulai mempelajari cara menggunakan Batch dengan membuat tugas dasar, pertimbangkan untuk meminta peran untuk tugas berikut:

    • Untuk membuat tugas:
    • Untuk mencantumkan dan mendeskripsikan tugas: Batch Job Editor (roles/batch.jobsEditor) atau Batch Job Viewer (roles/batch.jobsViewer) di project
    • Untuk melihat log tugas: Logs Viewer (roles/logging.viewer) di project
    • Untuk menghapus tugas: Batch Job Editor (roles/batch.jobsEditor) di project

    Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses.

  2. Jika Anda ingin menggunakan contoh command line untuk Batch, siapkan Google Cloud CLI dengan melakukan hal berikut. Pelajari lebih lanjut autentikasi untuk Google Cloud CLI.

    1. Instal Google Cloud CLI, lalu login ke gcloud CLI dengan identitas gabungan Anda. Setelah login, inisialisasi Google Cloud CLI dengan menjalankan perintah berikut: 

      gcloud init

    2. Direkomendasikan: Tetapkan project default menggunakan perintah gcloud config set project:

      gcloud config set project PROJECT_ID

      Ganti PROJECT_ID dengan project ID project Anda.

  3. Jika Anda ingin menggunakan contoh API atau contoh library klien untuk Batch, lihat Melakukan autentikasi ke Batch.

Mendapatkan dukungan

Anda dapat mendiskusikan Batch dengan komunitas menggunakan tag Batch di forum Google Developer Program.

Jika Anda mengalami masalah dengan Batch, lihat dokumentasi pemecahan masalah.

Untuk mendapatkan dukungan atau memberikan masukan untuk Batch, gunakan referensi berikut:

  • Untuk masalah penagihan terkait Google Cloud, hubungi Dukungan penagihan.

  • Jika Anda memiliki paket dukungan berbayar, hubungi Dukungan Google Cloud secara langsung untuk masalah terkait Batch.

    Google Cloud menawarkan paket dukungan yang berbeda untuk memenuhi berbagai kebutuhan, seperti cakupan 24/7, dukungan telepon, dan akses ke pengelola dukungan teknis. Untuk mengetahui informasi selengkapnya, lihat DukunganGoogle Cloud .

  • Untuk memberikan masukan atau permintaan fitur untuk Batch, atau untuk melaporkan masalah untuk Batch tanpa paket dukungan berbayar, klik tombol Send feedback, yang dapat Anda temukan di awal dan akhir setiap halaman dokumentasi Batch. Kemudian, pilih salah satu opsi berikut:

    • Untuk masukan terkait dokumentasi Batch, pilih "Documentation feedback".
    • Untuk semua masukan lainnya tentang Batch, pilih "Masukan produk".

Langkah berikutnya