"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).

Google menggunakan teknologi AI untuk menerjemahkan konten ke dalam bahasa pilihan Anda. Terjemahan AI mungkin mengandung kesalahan.

Konektor BigQuery

Anda dapat menggunakan konektor BigQuery untuk mengaktifkan akses baca dan tulis terprogram ke BigQuery. Ini adalah cara ideal untuk memproses data yang disimpan di BigQuery. Akses command line tidak ditampilkan. Konektor BigQuery adalah library yang memungkinkan aplikasi Spark dan Hadoop memproses data dari BigQuery dan menulis data ke BigQuery menggunakan terminologi aslinya.

Harga

Saat menggunakan konektor, tagihan mencakup biaya penggunaan BigQuery. Biaya khusus layanan berikut juga dapat berlaku:

Cloud Storage - konektor mendownload data ke bucket Cloud Storage sebelum atau selama eksekusi tugas. Setelah tugas berhasil diselesaikan, data akan dihapus dari Cloud Storage. Anda akan dikenai biaya untuk penyimpanan ini sesuai dengan harga Cloud Storage. Untuk menghindari biaya berlebih, periksa akun Cloud Storage Anda dan hapus file sementara yang tidak diperlukan.
Storage Read API - konektor membaca data dari tabel menggunakan Storage Read API untuk mencapai throughput tinggi.
- Jika permintaan berasal dari Managed Service untuk Apache Spark serverless atau prosedur tersimpan BigQuery untuk Apache Spark, biaya pembacaan streaming Storage Read API didelegasikan ke konektor tanpa biaya tambahan. Biaya traffic keluar jaringan standar tetap berlaku jika data dibaca di seluruh region.
- Jika permintaan berasal dari workload Apache Spark berbasis cluster (seperti Managed Service untuk Apache Spark di cluster atau Apache Spark yang berjalan di Google Kubernetes Engine (GKE)), harga Storage Read API standar berlaku.

Konektor yang tersedia

Konektor BigQuery berikut tersedia untuk digunakan dalam ekosistem Hadoop:

Konektor BigQuery Spark menambahkan sumber data Spark, yang memungkinkan DataFrame berinteraksi langsung dengan tabel BigQuery menggunakan operasi read dan write Spark.
Konektor BigQuery Hive menambahkan Storage Handler, yang memungkinkan Apache Hive berinteraksi langsung dengan tabel BigQuery menggunakan sintaksis HiveQL.
Konektor BigQuery Hadoop memungkinkan mapper dan reducer Hadoop berinteraksi dengan tabel BigQuery menggunakan versi terpisah dari class InputFormat dan OutputFormat.

Perhatian: Konektor BigQuery Hadoop untuk Hadoop MapReduce tidak didukung. Rekomendasi: Gunakan Spark BigQuery Connector untuk meningkatkan performa. Untuk mengetahui informasi selengkapnya, lihat Menggunakan konektor BigQuery dengan Spark.

Menggunakan konektor

Untuk memulai cepat menggunakan konektor BigQuery, lihat contoh berikut:

Langkah berikutnya

Pelajari BigQuery lebih lanjut.
Ikuti contoh BigQuery untuk Spark.
Pelajari lebih lanjut Konektor BigQuery Hive.
Ikuti contoh BigQuery untuk Java MapReduce.