Risolvere i problemi di rilevamento dei dati di Knowledge Catalog

Il rilevamento dei dati di Knowledge Catalog (precedentemente Dataplex Universal Catalog), chiamato anche rilevamento autonomo, ti consente di analizzare automaticamente i bucket Cloud Storage per estrarre i metadati e pubblicare le tabelle in BigQuery. Puoi risolvere i problemi e gli errori comuni delle scansioni di rilevamento, come gli errori di pubblicazione delle tabelle BigQuery e BigLake, le mancate corrispondenze degli schemi delle cartelle e le tabelle che non si aggiornano dopo le modifiche allo schema. Per saperne di più, consulta Scopri e cataloga i dati di Cloud Storage.

Se hai bisogno di aiuto per risolvere un problema non trattato in questo documento, contatta l'assistenza clienti Google Cloud.

Errore di pubblicazione della tabella BigQuery (FAILED_BIGQUERY_TABLE_PUBLISH)

Quando viene eseguita un'analisi di rilevamento, la pubblicazione delle tabelle in BigQuery potrebbe non riuscire. In questo caso, l'analisi registra un'azione FAILED_BIGQUERY_TABLE_PUBLISH in Cloud Logging.

Questo problema si verifica a causa delle seguenti condizioni:

  • Autorizzazioni IAM insufficienti: il account di servizio Knowledge Catalog o il account di servizio di connessione BigQuery non dispone dei ruoli richiesti per delegare le connessioni, accedere a Cloud Storage o scrivere nel set di dati di destinazione.
  • Mancata corrispondenza della connessione o del set di dati BigQuery: l'ID connessione specificato non è valido oppure la connessione e il set di dati di destinazione si trovano in regioni diverse.
  • Errori di configurazione della tabella: la creazione o la modifica della tabella applica impostazioni errate o non supportate.

Per risolvere il problema, esegui i seguenti controlli:

  • Verifica account di servizio account: verifica che il account di servizio Knowledge Catalog service-PROJECT_NUMBER@gcp-sa-dataplex. disponga del ruolo Dataplex Discovery BigLake Publishing Service Agent (roles/dataplex.discoveryBigLakePublishingServiceAgent).
  • Verifica le autorizzazioni di connessione: se crei tabelle BigLake, verifica che l'account di servizio di connessione BigQuery disponga dell'accesso in lettura al bucket Cloud Storage utilizzando il ruolo Storage Object Viewer (roles/storage.objectViewer) o Dataplex Discovery Service Agent (roles/dataplex.discoveryServiceAgent).
  • Controlla la connessione e la località del set di dati: assicurati che la connessione BigQuery e il set di dati BigQuery esistano nella stessa regione e che siano compatibili con la località del bucket Cloud Storage.
  • Ispeziona i log per i dettagli: esplora i log dei job DataScan in Cloud Logging. Se l'errore contiene BigQuery: Permission denied, controlla le autorizzazioni del account di servizio. Se contiene TABLE_CONFIG, verifica che i file di dati siano conformi ai requisiti di BigQuery.

La creazione della tabella BigLake non riesce per i bucket Cloud Storage di grandi dimensioni

Quando un'analisi di rilevamento elabora bucket Cloud Storage con un volume elevato di dati o singoli file di grandi dimensioni (ad esempio file Avro di dimensioni superiori a 30 MB), l'analisi può creare correttamente il set di dati BigQuery, ma non riesce a pubblicare le tabelle BigLake.

In questo caso, potresti osservare i seguenti errori in Cloud Logging:

  • FAILED_BIGQUERY_TABLE_PUBLISH
  • com.google.cloud.bigquery.BigQueryException: Read timed out

Questo problema è una limitazione di scalabilità nota. Se hai bisogno di un provisioning immediato della tabella, configura l'analisi di rilevamento in modo da includere un sottoinsieme più piccolo e filtrato dei dati del bucket.

Mancate corrispondenze dello schema della cartella Cloud Storage

Una scansione di rilevamento dei dati non riesce a registrare le tabelle esterne o non rileva i file in determinate cartelle.

Questo problema si verifica se le cartelle Cloud Storage contengono file con schemi incompatibili o formati diversi. L'analisi di rilevamento raggruppa i file in una singola tabella solo se si trovano nella stessa cartella e hanno uno schema compatibile.

Quando una scansione di rilevamento dei dati analizza un percorso Cloud Storage, si aspetta che i file all'interno di una cartella e la struttura delle partizioni tra le cartelle siano coerenti. La scansione segnala un'azione se rileva uno dei seguenti elementi:

  • Formato dei dati non valido (INVALID_DATA_FORMAT): vengono rilevati formati dei dati incoerenti all'interno della stessa cartella o tra partizioni (ad esempio, file .csv e .parquet nella stessa directory).
  • Definizione di partizione non valida (INVALID_PARTITION_DEFINITION): le chiavi di partizione sono incoerenti o mancanti. Ad esempio, utilizzando Year=2023/Mon=Jan in un percorso e Year=2023/Dept=Sales in un altro.
  • Schema dei dati non compatibile (INCOMPATIBLE_DATA_SCHEMA): vengono rilevati schemi incoerenti o non compatibili tra i file all'interno della stessa cartella o tabella.

Per i formati con tipizzazione forte come Avro e Parquet, le mancate corrispondenze dello schema si verificano a causa di:

  • Tipi di dati incompatibili: una colonna ha un tipo string in un file e un tipo int o boolean in un altro.
  • Valori predefiniti mancanti: i nuovi campi vengono aggiunti o eliminati nei file più recenti senza specificare i valori predefiniti nella definizione dello schema, impedendo la corretta evoluzione dello schema.
  • Formato file danneggiato: uno o più file sono in formato non corretto o danneggiati, il che impedisce alla scansione di leggere ed estrarre lo schema.

Per risolvere il problema, controlla la struttura del file e le definizioni dello schema:

  • Organizza i file per schema e formato: verifica che tutti i file in una singola cartella condividano lo stesso formato e la stessa struttura dello schema. Sposta i file con colonne, tipi primitivi o formati diversi in cartelle o prefissi separati in modo che possano essere registrati come tabelle separate.
  • Utilizza definizioni di partizione coerenti: assicurati che le chiavi e le strutture delle partizioni siano coerenti in tutte le cartelle delle partizioni (ad esempio, utilizzando in modo coerente Year=YYYY/Month=MM/).
  • Segui le regole di evoluzione dello schema: quando aggiorni gli schemi (ad esempio aggiungendo o rimuovendo campi dai file Avro), definisci sempre i valori predefiniti in modo che il servizio di rilevamento possa unire correttamente le varianti dello schema.
  • Identifica i file danneggiati: controlla l'output o i log della scansione per identificare se un determinato file non viene decodificato. Sposta temporaneamente i file per scoprire se un file specifico causa l'errore di scansione.

Le tabelle rilevate non vengono aggiornate con le modifiche allo schema

Dopo aver modificato i file in Cloud Storage o aver eseguito una nuova scansione, lo schema aggiornato non viene riflesso nelle tabelle BigQuery pubblicate.

Questo problema si verifica se l'etichetta metadata-managed-mode della tabella pubblicata è impostata su user_managed. Per impostazione predefinita, il discovery pubblica le tabelle come discovery_managed. Se tu o un altro utente modificate manualmente le proprietà dello schema della tabella, dovete modificare l'etichetta in user_managed per bloccare gli aggiornamenti automatici.

Per risolvere il problema, controlla le etichette della tabella in BigQuery:

  1. Nella console Google Cloud , vai alla pagina BigQuery.
  2. Nel riquadro Explorer, espandi il progetto, seleziona il set di dati e fai clic sulla tabella interessata.
  3. Fai clic sulla scheda Dettagli.
  4. Nella sezione Etichette, controlla il valore della chiave metadata-managed-mode.
  5. Se vuoi che l'analisi di rilevamento riprenda la gestione e l'aggiornamento dello schema, fai clic su Modifica > Modifica dettagli, cambia il valore in discovery_managed e poi fai clic su Salva.