Il rilevamento dei dati di Knowledge Catalog (precedentemente Dataplex Universal Catalog), chiamato anche rilevamento autonomo, ti consente di analizzare automaticamente i bucket Cloud Storage per estrarre i metadati e pubblicare le tabelle in BigQuery. Puoi risolvere i problemi e gli errori comuni delle scansioni di rilevamento, come gli errori di pubblicazione delle tabelle BigQuery e BigLake, le mancate corrispondenze degli schemi delle cartelle e le tabelle che non si aggiornano dopo le modifiche allo schema. Per saperne di più, consulta Scopri e cataloga i dati di Cloud Storage.
Se hai bisogno di aiuto per risolvere un problema non trattato in questo documento, contatta l'assistenza clienti Google Cloud.
Errore di pubblicazione della tabella BigQuery (FAILED_BIGQUERY_TABLE_PUBLISH)
Quando viene eseguita un'analisi di rilevamento, la pubblicazione delle tabelle in BigQuery potrebbe non riuscire. In questo caso, l'analisi registra un'azione FAILED_BIGQUERY_TABLE_PUBLISH in Cloud Logging.
Questo problema si verifica a causa delle seguenti condizioni:
- Autorizzazioni IAM insufficienti: il account di servizio Knowledge Catalog o il account di servizio di connessione BigQuery non dispone dei ruoli richiesti per delegare le connessioni, accedere a Cloud Storage o scrivere nel set di dati di destinazione.
- Mancata corrispondenza della connessione o del set di dati BigQuery: l'ID connessione specificato non è valido oppure la connessione e il set di dati di destinazione si trovano in regioni diverse.
- Errori di configurazione della tabella: la creazione o la modifica della tabella applica impostazioni errate o non supportate.
Per risolvere il problema, esegui i seguenti controlli:
- Verifica account di servizio account: verifica che il account di servizio Knowledge Catalog
service-PROJECT_NUMBER@gcp-sa-dataplex.disponga del ruolo Dataplex Discovery BigLake Publishing Service Agent (roles/dataplex.discoveryBigLakePublishingServiceAgent). - Verifica le autorizzazioni di connessione: se crei tabelle BigLake, verifica che l'account di servizio di connessione BigQuery disponga dell'accesso in lettura al bucket Cloud Storage utilizzando il ruolo Storage Object Viewer (
roles/storage.objectViewer) o Dataplex Discovery Service Agent (roles/dataplex.discoveryServiceAgent). - Controlla la connessione e la località del set di dati: assicurati che la connessione BigQuery e il set di dati BigQuery esistano nella stessa regione e che siano compatibili con la località del bucket Cloud Storage.
- Ispeziona i log per i dettagli: esplora i log dei job DataScan in Cloud Logging. Se l'errore contiene
BigQuery: Permission denied, controlla le autorizzazioni del account di servizio. Se contieneTABLE_CONFIG, verifica che i file di dati siano conformi ai requisiti di BigQuery.
La creazione della tabella BigLake non riesce per i bucket Cloud Storage di grandi dimensioni
Quando un'analisi di rilevamento elabora bucket Cloud Storage con un volume elevato di dati o singoli file di grandi dimensioni (ad esempio file Avro di dimensioni superiori a 30 MB), l'analisi può creare correttamente il set di dati BigQuery, ma non riesce a pubblicare le tabelle BigLake.
In questo caso, potresti osservare i seguenti errori in Cloud Logging:
FAILED_BIGQUERY_TABLE_PUBLISHcom.google.cloud.bigquery.BigQueryException: Read timed out
Questo problema è una limitazione di scalabilità nota. Se hai bisogno di un provisioning immediato della tabella, configura l'analisi di rilevamento in modo da includere un sottoinsieme più piccolo e filtrato dei dati del bucket.
Mancate corrispondenze dello schema della cartella Cloud Storage
Una scansione di rilevamento dei dati non riesce a registrare le tabelle esterne o non rileva i file in determinate cartelle.
Questo problema si verifica se le cartelle Cloud Storage contengono file con schemi incompatibili o formati diversi. L'analisi di rilevamento raggruppa i file in una singola tabella solo se si trovano nella stessa cartella e hanno uno schema compatibile.
Quando una scansione di rilevamento dei dati analizza un percorso Cloud Storage, si aspetta che i file all'interno di una cartella e la struttura delle partizioni tra le cartelle siano coerenti. La scansione segnala un'azione se rileva uno dei seguenti elementi:
- Formato dei dati non valido (
INVALID_DATA_FORMAT): vengono rilevati formati dei dati incoerenti all'interno della stessa cartella o tra partizioni (ad esempio, file.csve.parquetnella stessa directory). - Definizione di partizione non valida (
INVALID_PARTITION_DEFINITION): le chiavi di partizione sono incoerenti o mancanti. Ad esempio, utilizzandoYear=2023/Mon=Janin un percorso eYear=2023/Dept=Salesin un altro. - Schema dei dati non compatibile (
INCOMPATIBLE_DATA_SCHEMA): vengono rilevati schemi incoerenti o non compatibili tra i file all'interno della stessa cartella o tabella.
Per i formati con tipizzazione forte come Avro e Parquet, le mancate corrispondenze dello schema si verificano a causa di:
- Tipi di dati incompatibili: una colonna ha un tipo
stringin un file e un tipointobooleanin un altro. - Valori predefiniti mancanti: i nuovi campi vengono aggiunti o eliminati nei file più recenti senza specificare i valori predefiniti nella definizione dello schema, impedendo la corretta evoluzione dello schema.
- Formato file danneggiato: uno o più file sono in formato non corretto o danneggiati, il che impedisce alla scansione di leggere ed estrarre lo schema.
Per risolvere il problema, controlla la struttura del file e le definizioni dello schema:
- Organizza i file per schema e formato: verifica che tutti i file in una singola cartella condividano lo stesso formato e la stessa struttura dello schema. Sposta i file con colonne, tipi primitivi o formati diversi in cartelle o prefissi separati in modo che possano essere registrati come tabelle separate.
- Utilizza definizioni di partizione coerenti: assicurati che le chiavi e le strutture delle partizioni siano coerenti in tutte le cartelle delle partizioni (ad esempio, utilizzando in modo coerente
Year=YYYY/Month=MM/). - Segui le regole di evoluzione dello schema: quando aggiorni gli schemi (ad esempio aggiungendo o rimuovendo campi dai file Avro), definisci sempre i valori predefiniti in modo che il servizio di rilevamento possa unire correttamente le varianti dello schema.
- Identifica i file danneggiati: controlla l'output o i log della scansione per identificare se un determinato file non viene decodificato. Sposta temporaneamente i file per scoprire se un file specifico causa l'errore di scansione.
Le tabelle rilevate non vengono aggiornate con le modifiche allo schema
Dopo aver modificato i file in Cloud Storage o aver eseguito una nuova scansione, lo schema aggiornato non viene riflesso nelle tabelle BigQuery pubblicate.
Questo problema si verifica se l'etichetta metadata-managed-mode della tabella pubblicata è impostata su user_managed. Per impostazione predefinita, il discovery pubblica le tabelle come discovery_managed. Se tu o un altro utente modificate manualmente le proprietà dello schema della tabella, dovete modificare l'etichetta in user_managed per bloccare gli aggiornamenti automatici.
Per risolvere il problema, controlla le etichette della tabella in BigQuery:
- Nella console Google Cloud , vai alla pagina BigQuery.
- Nel riquadro Explorer, espandi il progetto, seleziona il set di dati e fai clic sulla tabella interessata.
- Fai clic sulla scheda Dettagli.
- Nella sezione Etichette, controlla il valore della chiave
metadata-managed-mode. Se vuoi che l'analisi di rilevamento riprenda la gestione e l'aggiornamento dello schema, fai clic su Modifica > Modifica dettagli, cambia il valore in
discovery_managede poi fai clic su Salva.