Penemuan data Knowledge Catalog (sebelumnya Dataplex Universal Catalog), yang juga disebut penemuan mandiri, memungkinkan Anda memindai bucket Cloud Storage secara otomatis untuk mengekstrak metadata dan memublikasikan tabel ke BigQuery. Anda dapat memecahkan masalah dan menyelesaikan error pemindaian penemuan umum, seperti kegagalan publikasi tabel BigQuery dan BigLake, ketidakcocokan skema folder, dan tabel yang tidak diupdate setelah perubahan skema. Untuk mengetahui informasi selengkapnya, lihat Menemukan dan membuat katalog data Cloud Storage.
Jika Anda memerlukan bantuan untuk menyelesaikan masalah yang tidak dibahas dalam dokumen ini, hubungi Cloud Customer Care.
Kegagalan publikasi tabel BigQuery (FAILED_BIGQUERY_TABLE_PUBLISH)
Saat pemindaian penemuan dijalankan, pemindaian tersebut dapat gagal memublikasikan tabel ke BigQuery. Dalam hal ini, pemindaian akan mencatat tindakan FAILED_BIGQUERY_TABLE_PUBLISH
di Cloud Logging.
Masalah ini terjadi karena kondisi berikut:
- Izin IAM tidak memadai: Akun layanan Knowledge Catalog atau akun layanan koneksi BigQuery tidak memiliki peran yang diperlukan untuk mendelegasikan koneksi, mengakses Cloud Storage, atau menulis ke set data tujuan.
- Ketidakcocokan koneksi atau set data BigQuery: ID koneksi yang ditentukan tidak valid, atau koneksi dan set data tujuan berada di region yang berbeda.
- Error konfigurasi tabel: Pembuatan atau modifikasi tabel menerapkan setelan yang salah atau tidak didukung.
Untuk mengatasi masalah ini, lakukan pemeriksaan berikut:
- Verifikasi peran akun layanan: Pastikan akun layanan Knowledge Catalog
service-PROJECT_NUMBER@gcp-sa-dataplex.memiliki peran Dataplex Discovery BigLake Publishing Service Agent (roles/dataplex.discoveryBigLakePublishingServiceAgent). - Memverifikasi izin koneksi: Jika Anda membuat tabel BigLake,
pastikan akun layanan koneksi BigQuery memiliki akses baca
ke bucket Cloud Storage menggunakan peran Storage Object Viewer
(
roles/storage.objectViewer) atau Dataplex Discovery Service Agent (roles/dataplex.discoveryServiceAgent). - Periksa koneksi dan lokasi set data: Pastikan koneksi BigQuery dan set data BigQuery berada di region yang sama, dan kompatibel dengan lokasi bucket Cloud Storage.
- Memeriksa log untuk mengetahui detailnya: Pelajari log tugas DataScan Anda di Cloud Logging. Jika error berisi
BigQuery: Permission denied, periksa izin akun layanan. Jika berisiTABLE_CONFIG, pastikan file data sesuai dengan persyaratan BigQuery.
Pembuatan tabel BigLake gagal untuk bucket Cloud Storage yang besar
Saat pemindaian penemuan memproses bucket Cloud Storage dengan volume data yang besar atau file individual yang besar (misalnya, file Avro yang lebih besar dari 30 MB), pemindaian dapat berhasil membuat set data BigQuery, tetapi gagal memublikasikan tabel BigLake.
Jika hal ini terjadi, Anda mungkin melihat error berikut di Cloud Logging:
FAILED_BIGQUERY_TABLE_PUBLISHcom.google.cloud.bigquery.BigQueryException: Read timed out
Masalah ini adalah batasan skalabilitas yang umum. Jika Anda memerlukan penyediaan tabel langsung, konfigurasikan pemindaian penemuan untuk menyertakan subset data bucket yang lebih kecil dan difilter.
Ketidakcocokan skema folder Cloud Storage
Pemindaian penemuan data gagal mendaftarkan tabel eksternal, atau tidak mendeteksi file di folder tertentu.
Masalah ini terjadi jika folder Cloud Storage Anda berisi file dengan skema yang tidak kompatibel atau format yang berbeda. Pemindaian penemuan mengelompokkan file ke dalam satu tabel hanya jika file tersebut berada dalam folder yang sama dan memiliki skema yang kompatibel.
Saat pemindaian penemuan data menganalisis jalur Cloud Storage, pemindaian tersebut mengharapkan file dalam folder dan struktur partisi di seluruh folder konsisten. Pemindaian akan menandai tindakan jika mendeteksi salah satu hal berikut:
- Format data tidak valid (
INVALID_DATA_FORMAT): Format data yang tidak konsisten ditemukan dalam folder yang sama atau di seluruh partisi (misalnya, menggabungkan file.csvdan.parquetdalam direktori yang sama). - Definisi partisi tidak valid (
INVALID_PARTITION_DEFINITION): Kunci partisi tidak konsisten atau tidak ada. Misalnya, menggunakanYear=2023/Mon=Jandi satu jalur danYear=2023/Dept=Salesdi jalur lain. - Skema data tidak kompatibel (
INCOMPATIBLE_DATA_SCHEMA): Skema yang tidak konsisten atau tidak kompatibel terdeteksi di seluruh file dalam folder atau tabel yang sama.
Untuk format yang diketik dengan kuat seperti Avro dan Parquet, ketidakcocokan skema terjadi karena:
- Jenis data yang tidak kompatibel: Kolom memiliki jenis
stringdalam satu file dan jenisintataubooleandalam file lain. - Nilai default tidak ada: Kolom baru ditambahkan atau dihapus dalam file yang lebih baru tanpa menentukan nilai default dalam definisi skema, sehingga mencegah evolusi skema yang benar.
- Format file rusak: Satu atau beberapa file salah format atau rusak, sehingga pemindaian gagal membaca dan mengekstrak skema.
Untuk mengatasi masalah ini, periksa struktur file dan definisi skema Anda:
- Atur file berdasarkan skema dan format: Pastikan semua file dalam satu folder memiliki format dan struktur skema yang sama. Pindahkan file dengan kolom, jenis primitif, atau format yang berbeda ke folder atau awalan terpisah agar dapat didaftarkan sebagai tabel terpisah.
- Gunakan definisi partisi yang konsisten: Pastikan kunci dan struktur partisi konsisten di semua folder partisi (misalnya, menggunakan
Year=YYYY/Month=MM/secara konsisten). - Ikuti aturan evolusi skema: Saat Anda memperbarui skema (seperti menambahkan atau menghapus kolom dari file Avro), selalu tentukan nilai default agar layanan penemuan dapat menggabungkan varian skema dengan berhasil.
- Mengidentifikasi file yang rusak: Periksa output atau log pemindaian untuk mengidentifikasi apakah file tertentu gagal didekode. Pindahkan file untuk sementara guna menemukan apakah file tertentu menyebabkan pemindaian gagal.
Tabel yang ditemukan tidak diupdate dengan perubahan skema
Setelah Anda mengubah file di Cloud Storage atau menjalankan pemindaian baru, skema yang diperbarui tidak akan ditampilkan dalam tabel BigQuery yang dipublikasikan.
Masalah ini terjadi jika tabel yang dipublikasikan memiliki label metadata-managed-mode yang ditetapkan ke user_managed. Secara default, penemuan memublikasikan tabel sebagai
discovery_managed. Jika Anda atau pengguna lain mengedit properti skema tabel secara manual, Anda harus mengubah label menjadi user_managed untuk memblokir update otomatis.
Untuk mengatasi masalah ini, periksa label tabel di BigQuery:
- Di konsol Google Cloud , buka halaman BigQuery.
- Di panel Explorer, luaskan project Anda, pilih set data, lalu klik tabel yang terpengaruh.
- Klik tab Details.
- Di bagian Labels, periksa nilai kunci
metadata-managed-mode. Jika Anda ingin pemindaian penemuan melanjutkan pengelolaan dan pembaruan skema, klik Edit > Edit detail, ubah nilainya menjadi
discovery_managed, lalu klik Simpan.