Managed Service untuk Apache Spark serverless memungkinkan Anda menjalankan workload batch Spark dan sesi interaktif di infrastruktur yang terkelola sepenuhnya. Pertanyaan dan jawaban berikut membahas topik deployment, konfigurasi, dan operasional umum. Kecuali jika dinyatakan sebaliknya, informasi ini hanya berlaku untuk deployment serverless, bukan deployment cluster.
Kapan saya harus menggunakan deployment serverless Managed Service untuk Apache Spark, bukan deployment cluster Managed Service untuk Apache Spark?
Deployment serverless Managed Service untuk Apache Spark:
- Mendukung workload batch Spark dan sesi interaktif di notebook Jupyter kernel PySpark.
- Membuat dan mengelola infrastruktur workload dan sesi interaktif Anda.
Deployment cluster Managed Service untuk Apache Spark:
Mendukung pengiriman berbagai jenis tugas Spark, dan tugas berdasarkan komponen open source lainnya, seperti Flink, Hadoop, Hive, Pig, Presto, dan lainnya.
Tidak membuat dan mengelola infrastruktur. Anda membuat dan mengelola cluster Managed Service untuk Apache Spark.
Apa yang dapat saya lakukan dengan deployment serverless Managed Service untuk Apache Spark?
Menjalankan tugas streaming menggunakan library streaming Spark. Catatan: Streaming bukan layanan terkelola, jadi Anda harus mengelola checkpoint dan mulai ulang.
Melatih model menggunakan Spark MLlib.
Gunakan notebook SQL interaktif untuk eksplorasi data, grafik, deret waktu, dan analisis geospasial.
Mengorkestrasi workload Managed Service untuk Apache Spark dengan Managed Service untuk Apache Airflow, layanan Apache Airflow terkelola.
Bagaimana cara menyiapkan rencana eksekusi workload?
Anda dapat menjalankan workload secara serentak atau berurutan. Rencana eksekusi Anda memengaruhi kuota resource Google Cloud . Anda dapat menjalankan workload secara paralel sebanyak yang diizinkan oleh kuota resource batch Anda.
Dapatkah saya menggunakan image kustom dengan deployment serverless Managed Service untuk Apache Spark?
- Ya. Anda dapat menggunakan image container kustom, bukan image container default. Lihat Menggunakan container kustom dengan Managed Service untuk Apache Spark.
Dapatkah saya menentukan resource memori dan disk untuk workload Managed Service untuk Apache Spark?
Ya. Anda dapat menentukan tingkat disk dan komputasi driver dan eksekutor premium, serta jumlah resource disk dan komputasi driver dan eksekutor yang akan dialokasikan saat Anda mengirimkan workload (lihat Properti alokasi resource).
Bagaimana cara menentukan rentang alamat IP untuk jaringan VPC Managed Service untuk Apache Spark saya?
Workload Managed Service untuk Apache Spark berjalan dalam lingkungan Anda.
Setiap driver Spark dan eksekutor Spark dalam workload Serverless Spark menggunakan satu alamat IP internal di jaringan VPC Managed Service untuk Apache Spark Anda.
/16 adalah rentang alamat CIDR yang ditentukan pengguna standar untuk jaringan VPC Managed Service untuk Apache Spark.
Anda dapat membatasi rentang alamat IP jaringan berdasarkan jumlah workload serentak yang ingin Anda jalankan.
Apakah Managed Service untuk Apache Spark mendukung residensi data?
Ya. Anda menentukan region tempat workload Anda diproses. Temukan set data input dan output Anda di region yang ditentukan.
Bagaimana cara Managed Service untuk Apache Spark memilih zona dalam region yang Anda tentukan untuk menjalankan workload?
Managed Service untuk Apache Spark memilih zona Compute Engine tempat workload dijalankan berdasarkan kapasitas dan ketersediaan. Jika zona menjadi tidak tersedia setelah workload dimulai, workload akan gagal, dan Anda harus mengirim ulang workload yang gagal.
Bagaimana workload Managed Service untuk Apache Spark menggunakan resource komputasi?
Setiap workload dijalankan pada resource komputasinya sendiri. Beberapa pengiriman batch tidak berbagi atau menggunakan kembali resource komputasi.
Praktik Terbaik:
Optimalkan workload Anda untuk tugas yang berjalan sedang, bukan tugas yang berjalan singkat.
Mempertahankan data yang diakses oleh beberapa workload di Cloud Storage.
Di mana saya dapat menemukan informasi tentang pengumuman, fitur, perbaikan bug, masalah umum, dan penghentian penggunaan Managed Service untuk Apache Spark?
Lihat catatan rilis Managed Service untuk Apache Spark.
Apakah workload serentak bersaing untuk mendapatkan resource?
Workload Managed Service untuk Apache Spark hanya bersaing untuk mendapatkan resource jika kuota resource Anda tidak cukup untuk menjalankan semua workload yang berjalan secara serentak. Jika tidak, workload akan sepenuhnya terisolasi satu sama lain.
Bagaimana kuota Managed Service untuk Apache Spark dialokasikan?
Batch Managed Service untuk Apache Spark menggunakan resource Google Cloud . Lihat Kuota Dataproc Serverless untuk mengetahui informasi selengkapnya.
Apakah saya perlu menyiapkan Server Histori Persisten Managed Service untuk Apache Spark?
Menyiapkan Persistent History Server (PHS) untuk digunakan dengan Managed Service untuk Apache Spark bersifat opsional.Anda dapat menggunakan PHS untuk melihat peristiwa Spark dan log lainnya di bucket Cloud Storage yang ditentukan hingga dan setelah periode retensi (TTL) 90 hari bucket staging dan sementara Managed Service untuk Apache Spark standar.
Log Managed Service untuk Apache Spark apa saja yang tersedia?
Log eksekutor dan driver Spark tersedia di Cloud Logging selama dan setelah eksekusi workload Spark. Selain itu, aplikasi Spark terlihat di antarmuka web Persistent History Server (PHS) saat workload berjalan (pilih PHS > Incomplete Applications di UI PHS).
Jika Anda menyiapkan PHS Managed Service untuk Apache Spark, layanan ini akan memberikan akses persisten ke log peristiwa Spark yang disimpan di Cloud Storage, yang memberikan insight tentang eksekusi aplikasi Spark, seperti peristiwa DAG dan eksekutor.
Dapatkah saya menetapkan jumlah eksekutor untuk workload Spark saya?
Ya. Anda dapat menetapkan jumlah eksekutor untuk workload Spark menggunakan properti spark.executor.instances. Namun, jumlah total core yang dapat digunakan workload lebih penting daripada jumlah eksekutor karena Spark menjalankan 1 tugas per core. Misalnya, jika workload memiliki empat eksekutor dengan masing-masing dua core, workload tersebut akan menjalankan 4 * 2 = 8 tugas secara bersamaan. Spark juga akan menjalankan jumlah tugas yang sama untuk workload yang memiliki dua eksekutor dengan masing-masing empat core. Karena jumlah core untuk setiap workload sama, workload tersebut akan menjalankan jumlah tugas yang sama. Anda dapat menggunakan properti
spark.executor.cores
untuk menetapkan jumlah core per eksekutor untuk workload Managed Service untuk Apache Spark.
Metrik Spark apa yang digunakan Managed Service untuk Apache Spark untuk penskalaan otomatis?
Managed Service untuk Apache Spark melihat metrik alokasi dinamis Spark maximum-needed dan running untuk menentukan apakah akan meningkatkan atau menurunkan skala.
Lihat penskalaan otomatis Managed Service untuk Apache Spark.
Dapatkah saya mengonfigurasi perilaku penskalaan otomatis Managed Service untuk Apache Spark menggunakan properti Spark?
Ya. Penskalaan otomatis Managed Service untuk Apache Spark didasarkan pada alokasi dinamis Spark, dan diaktifkan secara default. Anda dapat menyesuaikan properti Spark dan properti alokasi dinamis Spark berikut:
spark.executor.instancesspark.dynamicAllocation.initialExecutorsspark.dynamicAllocation.minExecutorsspark.dynamicAllocation.maxExecutors
Mengapa saya perlu mengemas kode dalam file JAR untuk mengirimkan workload Spark?
Spark ditulis dalam Scala, yang berarti proses driver dan worker beroperasi sebagai proses JVM. Dalam bahasa JVM, file JAR adalah cara utama untuk memaketkan kode. Anda meneruskan file JAR ke Managed Service untuk Apache Spark saat Anda mengirimkan workload.