Memecahkan masalah konektivitas batch dan sesi

Halaman ini memberikan panduan tentang cara mendiagnosis dan menyelesaikan masalah konektivitas jaringan umum untuk workload batch dan sesi interaktif Managed Service untuk Apache Spark. Masalah ini dapat mencegah workload Anda mengakses sumber data, layanan eksternal, atau API Google Cloud yang diperlukan.

Gejala dan pesan error umum

Saat Managed Service untuk Apache Spark mengalami masalah konektivitas, Anda mungkin mengalami error seperti:

  • Unable to connect to service_name.googleapis.com
  • Could not reach required Google APIs
  • Connection refused
  • Host unreachable
  • Operation timed out
  • Permission denied (sering kali terkait jaringan jika memblokir panggilan API)

Anda mungkin juga mengalami error terkait akses data di Cloud Storage, BigQuery, atau database lainnya.

Penyebab umum dan tips pemecahan masalah

Bagian ini mencantumkan penyebab umum masalah konektivitas Managed Service untuk Apache Spark, dan memberikan tips pemecahan masalah untuk membantu Anda mengatasinya.

Konfigurasi jaringan

Kesalahan konfigurasi jaringan sering kali menjadi penyebab kegagalan konektivitas. Workload dan sesi Managed Service untuk Apache Spark berjalan di VM dengan alamat IP internal, dengan Akses Google Pribadi (PGA) diaktifkan secara otomatis di subnet workload atau sesi untuk mengakses Google API dan layanan Google. Untuk mengetahui informasi selengkapnya, lihat Konfigurasi jaringan Managed Service untuk Apache Spark.

  • Opsi akses:

    • Private Service Connect (PSC): Anda dapat membuat endpoint pribadi dalam jaringan VPC Anda untuk mengakses Google API tertentu.

      • Di konsol Google Cloud , buka Private Service Connect > Endpoints. Hubungkan endpoint atau konfirmasi bahwa endpoint terhubung untuk semua API yang diperlukan, seperti storage.googleapis.com dan dataproc.googleapis.com, dan bahwa endpoint tersebut terhubung ke workload batch atau sesi jaringan Virtual Private Cloud.
    • Cloud NAT: Jika workload Anda perlu mengakses internet publik, Anda dapat mengonfigurasi Cloud NAT untuk workload batch atau subnet sesi:

      • Di konsol Google Cloud , buka halaman Cloud NAT. Konfigurasikan gateway atau konfirmasi bahwa gateway telah dikonfigurasi untuk jaringan VPC, region, dan subnet workload atau sesi batch. Pastikan juga aturan firewall mengizinkan egress ke 0.0.0.0/0. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan Cloud NAT.
  • Aturan firewall:

    • Aturan firewall traffic keluar di jaringan VPC Anda (atau project host jaringan VPC bersama, jika ada) tidak boleh memblokir traffic keluar ke tujuan yang diperlukan.
      • Jika berlaku, aturan egress harus mengizinkan traffic ke layanan eksternal, seperti API publik dan database di luar Google Cloud. Jika workload atau sesi batch Anda memerlukan akses internet, Anda dapat menggunakan Cloud NAT untuk menyediakan egress subnet.
    • Meskipun bukan penyebab umum masalah konektivitas, aturan ingress yang terlalu ketat mungkin secara tidak sengaja memblokir traffic balik atau komunikasi internal yang diperlukan.
  • Resolusi DNS:

    • Resolusi DNS harus dikonfigurasi dalam jaringan VPC. Workload dan sesi harus dapat me-resolve nama host untuk Google API, seperti storage.googleapis.com atau bigquery.googleapis.com dan layanan eksternal.
    • Server DNS kustom dan zona pribadi Cloud DNS harus meneruskan atau me-resolve kueri untuk domain Google.
    • Jika Anda menggunakan Private Service Connect untuk akses pribadi ke Google API, data DNS untuk layanan Google harus di-resolve ke alamat IP pribadi dalam jaringan VPC Anda menggunakan endpoint PSC.

Tips pemecahan masalah:

  • Identifikasi konfigurasi jaringan dan subnet:

    • Dari detail sesi atau batch Managed Service untuk Apache Spark, tinjau networkUri dan subnetUri.
    • Di konsol Google Cloud , tinjau setelan untuk jaringan VPC dan subnet.
  • Uji konektivitas dari VM Proxy:

    • Luncurkan VM Compute Engine pengujian di subnet batch atau sesi menggunakan akun layanan batch atau sesi.
    • Dari VM pengujian, lakukan uji konektivitas berikut:
      • nslookup storage.googleapis.com untuk memverifikasi resolusi DNS. Cari domain Google API lainnya, seperti bigquery.googleapis.com dan dataproc.googleapis.com. Dengan Akses Google Pribadi, yang otomatis diaktifkan di subnet Managed Service untuk Apache Spark, atau Private Service Connect, domain harus di-resolve ke alamat IP pribadi.
      • curl -v https://storage.googleapis.com untuk memverifikasi konektivitas HTTPS ke Google API. Coba juga hubungkan ke layanan Google lainnya.
      • ping 8.8.8.8 untuk menguji konektivitas internet jika diperlukan oleh batch atau sesi Anda. Coba curl -v https://example.com jika Cloud NAT diharapkan.
    • Jalankan Google Cloud Uji konektivitas Network Intelligence Center untuk mendiagnosis jalur jaringan dari subnet Anda ke endpoint yang relevan, seperti Google API dan alamat IP eksternal.
  • Tinjau Cloud Logging untuk menemukan error jaringan:

    • Tinjau Logging untuk workload atau sesi Managed Service untuk Apache Spark Anda. Cari pesan ERROR atau WARNING yang terkait dengan waktu tunggu jaringan, penolakan koneksi, atau kegagalan panggilan API. Filter menurut jsonPayload.component="driver" atau jsonPayload.component="executor" untuk masalah jaringan khusus Spark.

Izin IAM

Izin IAM yang tidak memadai dapat mencegah workload atau sesi mengakses resource, sehingga menyebabkan kegagalan jaringan jika panggilan API ditolak.

Akun layanan yang digunakan oleh workload atau sesi batch Anda harus memiliki peran yang diperlukan:

  • Peran worker Managed Service untuk Apache Spark (roles/dataproc.worker).
  • Peran akses data, seperti roles/storage.objectViewer atau roles/bigquery.dataViewer).
  • Logging: (roles/logging.logWriter).

Tips pemecahan masalah:

  • Identifikasi workload batch atau akun layanan sesi. Jika tidak ditentukan, setelan defaultnya adalah akun layanan default Compute Engine.
  • Buka halaman IAM & Admin > IAM di konsol Google Cloud , temukan akun layanan sesi atau workload batch, lalu verifikasi bahwa akun tersebut memiliki peran yang diperlukan untuk operasi workload. Berikan peran yang belum ada.

Konfigurasi layanan eksternal

Jika workload Anda terhubung ke database atau layanan di luar Google Cloud, verifikasi konfigurasinya:

  • Pastikan firewall atau grup keamanan layanan eksternal mengizinkan koneksi masuk dari rentang IP jaringan VPC Anda: jika berlaku, periksa alamat IP internal menggunakan Peering VPC, Cloud VPN, atau Cloud Interconnect, atau alamat IP Cloud NAT.
  • Tinjau kredensial database atau string konektivitas. Periksa detail koneksi, nama pengguna, dan sandi.

Langkah berikutnya