Komponen Jupyter opsional Managed Service untuk Apache Spark

Komponen opsional Jupyter memungkinkan Anda menjalankan notebook analisis data interaktif di cluster Managed Service untuk Apache Spark. Komponen ini menyediakan lingkungan notebook Jupyter berbasis web untuk satu pengguna yang mendukung UI web JupyterLab.

Alternatif notebook multi-pengguna

Untuk menyajikan notebook kepada beberapa pengguna, buat instance Vertex AI Workbench yang mendukung Managed Service untuk Apache Spark. Atau, instal plugin JupyterLab Managed Service untuk Apache Spark di VM.

Konfigurasi

Konfigurasikan Jupyter. Jupyter dapat dikonfigurasi dengan menyediakan dataproc:jupyter properti cluster. Untuk mengurangi risiko eksekusi kode jarak jauh melalui API server notebook yang tidak aman, setelan properti cluster dataproc:jupyter.listen.all.interfaces default adalah false, yang membatasi koneksi ke localhost (127.0.0.1) saat Gateway Komponen diaktifkan (aktivasi Gateway Komponen diperlukan saat menginstal komponen Jupyter).

Notebook Jupyter menyediakan kernel Python untuk menjalankan kode Spark, dan kernel PySpark. Secara default, notebook disimpan di Cloud Storage di bucket staging Managed Service untuk Apache Spark, yang ditentukan oleh pengguna atau dibuat otomatis saat cluster dibuat. Lokasi dapat diubah pada waktu pembuatan cluster menggunakan properti cluster dataproc:jupyter.notebook.gcs.dir.

Bekerja dengan file data. Anda dapat menggunakan notebook Jupyter untuk menangani file data yang telah diupload ke Cloud Storage. Karena konektor Cloud Storage telah diinstal sebelumnya di cluster Managed Service untuk Apache Spark, Anda dapat mereferensikan file secara langsung di notebook. Berikut adalah contoh yang mengakses file CSV di Cloud Storage:

df = spark.read.csv("gs://bucket/path/file.csv")
df.show()

Lihat Fungsi Pemuatan dan Penyimpanan Generik untuk contoh PySpark.

Menginstal Jupyter

Instal komponen saat Anda membuat cluster Managed Service untuk Apache Spark. Komponen Jupyter memerlukan aktivasi Gateway Komponen Managed Service untuk Apache Spark.

KonsolGoogle Cloud

  1. Di konsol Google Cloud , buka halaman Create cluster.
  2. Klik Additional configuration untuk meluaskan bagian tersebut.
  3. Edit Optional components.
  4. Di panel yang terbuka, centang kotak untuk Jupyter Notebook, lalu klik Save.

gcloud CLI

Untuk membuat cluster Managed Service untuk Apache Spark yang menyertakan komponen Jupyter, gunakan perintah gcloud dataproc clusters create cluster-name dengan flag --optional-components.

Contoh versi image default terbaru

Contoh berikut menginstal komponen Jupyter pada cluster yang menggunakan versi image default terbaru.

gcloud dataproc clusters create cluster-name \
    --optional-components=JUPYTER \
    --region=region \
    --enable-component-gateway \
    ... other flags

REST API

Komponen Jupyter dapat diinstal melalui Dataproc API menggunakan SoftwareConfig.Component sebagai bagian dari permintaan clusters.create.

Membuka UI Jupyter dan JupyterLab

Klik link Component Gateway konsolGoogle Cloud untuk membuka notebook Jupyter atau UI JupyterLab yang berjalan di node master cluster di browser lokal Anda.

Pilih "GCS" atau "Local Disk" untuk membuat Jupyter Notebook baru di salah satu lokasi.

Memasang GPU ke node master dan worker

Anda dapat menambahkan GPU ke node master dan worker cluster saat menggunakan notebook Jupyter untuk:

  1. Melakukan pra-pemrosesan data di Spark, lalu mengumpulkan DataFrame ke master dan menjalankan TensorFlow
  2. Menggunakan Spark untuk mengorkestrasi operasi TensorFlow secara paralel
  3. Menjalankan Tensorflow-on-YARN
  4. Penggunaan dengan skenario machine learning lain yang menggunakan GPU