Membuat sesi interaktif dan profil runtime

Dokumen ini menunjukkan cara membuat sesi interaktif dan profil runtime Managed Service untuk Apache Spark, yang disebut template sesi di Google Cloud CLI dan Dataproc API. Profil runtime adalah kumpulan setelan runtime Spark serverless yang dapat digunakan kembali, seperti paket komputasi dan konfigurasi eksekutor, yang dapat Anda gunakan untuk membuat notebook dan sesi interaktif.

Membuat sesi interaktif

Anda dapat menggunakan Google Cloud CLI atau Managed Service for Apache Spark API untuk membuat sesi interaktif Managed Service untuk Apache Spark.

gcloud

Anda dapat menggunakan perintah gcloud beta dataproc sessions create spark SESSION_ID untuk membuat sesi interaktif Managed Service untuk Apache Spark:

gcloud beta dataproc sessions create spark SESSION_ID \
    --location=REGION \
    optional flags ...

Ganti atau tambahkan hal berikut:

REST

Anda dapat menggunakan metode API sessions.create Managed Service untuk Apache Spark untuk membuat sesi interaktif Managed Service untuk Apache Spark. Konfigurasikan kolom permintaan berikut:

Membuat profil runtime

Profil runtime Managed Service untuk Apache Spark (terkadang disebut template sesi) menentukan setelan konfigurasi yang dapat digunakan kembali untuk membuat sesi interaktif Managed Service untuk Apache Spark. Anda dapat menggunakan konsol Google Cloud , gcloud CLI, atau Managed Service untuk Apache Spark API untuk membuat profil runtime. Di gcloud CLI dan Dataproc API, profil runtime disebut session templates.

Konsol

Untuk membuat profil runtime Managed Service untuk Apache Spark menggunakan konsolGoogle Cloud , selesaikan langkah-langkah berikut:

  1. Di konsol Google Cloud , buka halaman Managed Service untuk Apache Spark Serverless (Runtime Profiles).

    Buka Profil Runtime

  2. Klik Create.

  3. Di halaman Create a runtime profile, konfigurasikan setelan utama berikut:

    • Nama tampilan: wajib diisi. Masukkan nama tampilan untuk profil runtime, atau terima nama yang dibuat otomatis dan telah diisi sebelumnya. Nama tampilan harus berisi minimal satu huruf atau angka, dan disimpan sebagai nama tampilan tingkat teratas untuk semua jenis sesi, termasuk Spark Connect. Nama profil runtime adalah ID resource dan otomatis diambil dari nama tampilan dengan mengonversi huruf menjadi huruf kecil dan karakter yang tidak valid menjadi tanda hubung, yang ditampilkan sebagai petunjuk di bawah kolom. Untuk menyesuaikan ID resource secara terpisah dari nama tampilan, luaskan Additional configuration dan edit Runtime configuration.

    • Region: wajib diisi. Pilih region Compute Engine yang tersedia untuk sesi yang menggunakan profil runtime ini. Region default-nya adalah us-east4 (sebelumnya us-central1), dan daftar tersebut menampilkan deskripsi region.

    • Deskripsi: opsional. Masukkan deskripsi untuk membantu mengidentifikasi profil runtime.

    • Tier: pilih tingkat Managed Service untuk Apache Spark untuk eksekusi workload:

      • Premium: default. Mengoptimalkan kueri yang kompleks atau sensitif terhadap latensi dengan mesin akselerasi dan mendukung bentuk eksekutor dengan memori tinggi dan akselerasi GPU. Jika Premium dipilih, kotak centang Enable Lightning Engine to accelerate performance akan ditampilkan dan dipilih secara default untuk mempercepat tugas Spark dengan Lightning Engine, yang menetapkan spark.dataproc.engine=lightningEngine.

      • Standard: menyediakan lingkungan eksekusi Spark standar untuk pemrosesan data rutin. Sesi interaktif selalu berjalan di paket premium; memilih Standard hanya memengaruhi eksekusi batch. Memilih Standard akan menonaktifkan Lightning Engine, membatasi bentuk mesin ke bentuk CPU standar (standard-4, standard-8, atau standard-16), dan memerlukan disk HDD (standard). Jika Anda beralih dari Premium ke Standard, bentuk memori tinggi atau GPU akan direset ke standard-4 dan disk SSD akan direset ke HDD 200 GiB.

    • Executor configuration: pilih mode ukuran komputasi dan bentuk mesin untuk executor dan driver Spark yang menjalankan workload Anda:

      • General: default. Menyediakan bentuk mesin khusus CPU yang cocok untuk workload ekstraksi, transformasi, dan pemuatan (ETL) umum. Dalam daftar Executor type, pilih bentuk High memory, seperti highmem-4 (default) dengan 4 vCPU dan memori 32 GB, highmem-8 dengan 8 vCPU dan memori 64 GB, atau highmem-16 dengan 16 vCPU dan memori 128 GB, atau pilih bentuk Standard, seperti standard-4 dengan 4 vCPU dan memori 16 GB, standard-8 dengan 8 vCPU dan memori 32 GB, atau standard-16 dengan 16 vCPU dan memori 64 GB. Bentuk Memori tinggi hanya tersedia di paket Premium.

      • Accelerated: menyediakan bentuk mesin yang terpasang pada GPU yang cocok untuk workload data science dan pelatihan serta inferensi AI atau ML. Memilih bentuk Dipercepat akan otomatis mengalihkan tingkat ke Premium dan tingkat disk ke SSD (premium) dengan ukuran default 375 GiB. Dalam daftar Executor type, pilih bentuk L4 dengan 4, 8, 12, 16, 24, 48, atau 96 vCPU, atau pilih bentuk A100, seperti A100 40GB (12 vCPU) atau A100 80GB (12 vCPU).

  4. Opsional: Untuk menyesuaikan setelan runtime, komputasi, penskalaan otomatis, metastore, jaringan, keamanan, siklus proses, atau properti lanjutan, klik Additional configuration untuk meluaskan panel. Di samping kategori yang ingin Anda sesuaikan, klik Edit, konfigurasikan setelan di panel, lalu klik Save:

    • Konfigurasi runtime: mengonfigurasi ID runtime, versi Spark, image container, bucket staging, dan repositori paket Python:

      • Nama profil runtime: wajib diisi. Terima ID resource yang dihasilkan dan berasal dari nama tampilan atau masukkan ID kustom. ID harus terdiri dari 4 hingga 63 karakter, hanya berisi huruf kecil, angka, dan tanda hubung, diawali dan diakhiri dengan huruf kecil atau angka, serta tidak dapat diubah setelah profil runtime dibuat.

      • Versi runtime Spark: wajib diisi. Pilih versi runtime Managed Service untuk Apache Spark yang didukung.

      • Custom Spark image: opsional. Masukkan URI Artifact Registry atau Container Registry dari image container kustom yang menyertakan dependensi Java atau Python kustom.

      • Staging bucket: opsional. Klik Browse untuk memilih atau membuat bucket staging Cloud Storage untuk menyimpan dependensi workload, output driver tugas, dan file konfigurasi. Jika dibiarkan kosong, Managed Service untuk Apache Spark akan otomatis mengelola bucket staging (ditunjukkan dengan Auto dalam ringkasan).

      • Python package repository: opsional. Masukkan URI repositori kustom, seperti https://pypi.org/simple, untuk menginstal paket Python. Jika dibiarkan kosong, paket akan diinstal dari cache pull-through PyPI yang dikelola Google (ringkasan default).

    • Konfigurasi eksekutor dan driver: sesuaikan paket komputasi, paket disk, ukuran disk, dan konfigurasi driver terpisah:

      • Tier: pilih Premium, yang menyertakan kotak centang opsional Enable Lightning Engine to accelerate performance, atau Standard.

      • Executor type: pilih bentuk mesin General High memory atau Standard, atau bentuk mesin Accelerated L4 atau A100.

      • Disk tier: pilih HDD (standard) atau SSD (premium). HDD (standard) adalah default untuk bentuk CPU dan diperlukan di paket Standard. SSD (premium) tersedia di tingkat Premium untuk workload yang memerlukan banyak shuffle atau spill, dan diperlukan untuk bentuk GPU Accelerated.

      • Disk size: pilih ukuran disk dalam GiB. HDD (standard) mendukung 200 GiB hingga 1500 GiB dengan kelipatan 100 GiB, dengan default 200 GiB. SSD (premium) mendukung 375 GiB, 750 GiB, atau 1500 GiB, dengan default 375 GiB.

      • Gunakan konfigurasi yang berbeda untuk driver: opsional. Secara default, driver menggunakan bentuk mesin dan konfigurasi disk yang sama dengan executor. Centang kotak ini untuk menyesuaikan jenis mesin driver, tingkat disk driver, dan ukuran disk driver secara terpisah.

    • Penskalaan otomatis: konfigurasikan alokasi resource dinamis untuk menskalakan eksekutor berdasarkan permintaan workload:

      • Enabled: dipilih secara default, yang menetapkan spark.dynamicAllocation.enabled. Hapus centang pada kotak ini untuk menonaktifkan penskalaan otomatis.

      • Initial executors: masukkan jumlah awal eksekutor, yang menetapkan spark.dynamicAllocation.initialExecutors. Defaultnya adalah 5. Nilai yang valid berkisar dari 2 hingga 2000 untuk versi runtime 2.3 dan yang lebih lama, atau dari 0 hingga 2000 untuk versi runtime 3.0 dan yang lebih baru.

      • Minimum executors: masukkan jumlah minimum eksekutor, yang menetapkan spark.dynamicAllocation.minExecutors. Defaultnya adalah 2 untuk versi runtime 2.3 dan yang lebih lama, atau 0 untuk versi runtime 3.0 dan yang lebih baru, dengan batas atas 2000.

      • Maximum executors: masukkan jumlah maksimum eksekutor, yang menetapkan spark.dynamicAllocation.maxExecutors. Nilai defaultnya adalah 1000, dengan batas maksimum yang diizinkan sebesar 2000.

    • Metastore configuration: pilih metastore yang mengelola metadata set data Anda:

      • Lakehouse runtime catalog: default. Menggunakan katalog katalog runtime Lakehouse serverless dalam project saat ini, dengan Iceberg REST Endpoint diaktifkan secara default. Anda dapat menentukan Project ID dan memilih Catalog ID yang ada atau menentukan katalog baru. Anda juga dapat mencentang kotak Hive Endpoint untuk menentukan Project ID, Catalog ID, dan Catalog Name endpoint Hive.

      • Dataproc Metastore: melampirkan instance Hive Metastore (HMS) Dataproc Metastore terkelola. Pilih project di Selected project, lalu pilih instance layanan di daftar Metastore service.

      • None: menonaktifkan integrasi metastore untuk sesi yang menggunakan profil runtime ini.

    • Jaringan dan keamanan: mengonfigurasi jaringan VPC, kredensial eksekusi, dan kunci enkripsi:

      • Hubungkan cluster Anda: di bagian konfigurasi jaringan, konsol Google Cloud akan otomatis memilih jaringan atau subnetwork yang memenuhi syarat di region yang dipilih. Jika region yang dipilih tidak memiliki jaringan default yang tersedia, Additional configuration akan otomatis terbuka dan menampilkan peringatan bahwa jaringan default tidak tersedia. Dalam situasi ini, tombol Create tetap dinonaktifkan hingga Anda mengklik Configure network dan memilih subnetwork yang tersedia. Anda dapat memilih Networks in this project untuk memilih Primary network dan Subnetwork di project saat ini, atau memilih Networks shared from host project untuk memilih subnetwork VPC Bersama. Subnetwork yang dipilih harus mengaktifkan Akses Google Pribadi (PGA). Untuk persyaratan konektivitas jaringan, lihat Konektivitas subnet terbuka. Anda juga dapat memasukkan Tag jaringan opsional untuk menerapkan aturan dan rute firewall ke VM workload.

      • Execute notebooks with: pilih User Account, yang merupakan default, untuk mengeksekusi notebook menggunakan kredensial pengguna akhir, atau pilih Service Account untuk menjalankan sesi dengan akun layanan kustom. Jika Service Account dipilih, Anda harus menentukan akun layanan di kolom Service account.

      • Encryption: pilih Google-owned and Google-managed encryption key, yang merupakan default, atau pilih Cloud KMS key untuk mengenkripsi data workload menggunakan kunci enkripsi yang dikelola pelanggan (CMEK).

    • Siklus proses sesi: mengonfigurasi batas penghentian sesi otomatis:

      • Waktu tidak ada aktivitas maksimum: opsional. Masukkan Max idle time quantity dan pilih Max idle time unit dalam seconds, minutes, hours, atau days, dari 10 menit hingga 330 jam, untuk menentukan berapa lama sesi notebook dapat tetap tidak ada aktivitas sebelum dihentikan secara otomatis.

      • Waktu sesi maksimum: opsional. Masukkan Max session time quantity dan pilih Max session time unit dalam seconds, minutes, hours, atau days, dari 10 menit hingga 330 jam, untuk menentukan masa aktif maksimum sesi.

    • Penyesuaian lainnya: tambahkan properti Spark kustom dan label resource:

      • Properti Spark: opsional. Klik Add property dan masukkan pasangan Key dan Value untuk properti Spark kustom. Properti yang dikontrol oleh kolom khusus dalam formulir (seperti tingkat komputasi, ukuran eksekutor dan driver, Lightning Engine, spark.dynamicAllocation.*, dan properti katalog Lakehouse) dikelola oleh kolom tersebut dan disembunyikan dari daftar bentuk bebas. Di konsol Google Cloud , jangan sertakan awalan spark:.

      • Labels: opsional. Klik Add label dan masukkan pasangan Key dan Value untuk melampirkan label ke profil runtime.

  5. Tinjau detail konfigurasi di kartu Summary dan perkiraan penggunaan Data Compute Unit (DCU) di kartu Pricing estimate di sisi kanan halaman. Untuk mengetahui informasi selengkapnya tentang biaya DCU, lihat Harga Managed Service untuk Apache Spark.

  6. Klik Create.

gcloud

Di gcloud CLI, profil runtime dikelola sebagai template sesi. Anda tidak dapat langsung membuat profil runtime Managed Service untuk Apache Spark menggunakan perintah create di gcloud CLI, tetapi Anda dapat menggunakan perintah gcloud beta dataproc session-templates import untuk membuat atau mengupdate profil runtime dari file konfigurasi YAML. Anda juga dapat mengekspor profil runtime yang ada menggunakan perintah gcloud beta dataproc session-templates export.

REST

Di Managed Service untuk Apache Spark API, profil runtime direpresentasikan oleh resource SessionTemplate. Anda dapat menggunakan metode API sessionTemplates.create Managed Service untuk Apache Spark untuk membuat profil runtime Managed Service untuk Apache Spark. Konfigurasi kolom permintaan berikut: