Quote e limiti di sistema per Lakehouse senza bordi

Questo documento elenca le quote e i limiti di sistema che si applicano a Lakehouse.

  • Le quote hanno valori predefiniti, ma in genere puoi richiedere degli adeguamenti.
  • I limiti di sistema sono valori fissi che non possono essere modificati.

Google Cloud utilizza le quote per garantire l'equità e ridurre i picchi di utilizzo e disponibilità delle risorse. Una quota limita la quantità di una Google Cloud risorsa che Google Cloud il progetto può utilizzare. Le quote si applicano a una serie di tipi di risorse, inclusi hardware, software e componenti di rete. Ad esempio, le quote possono limitare il numero di chiamate API a un servizio, il numero di bilanciatori del carico utilizzati contemporaneamente dal tuo progetto o il numero di progetti che puoi creare. Le quote proteggono la community degli utentiGoogle Cloud impedendo il sovraccarico dei servizi. Le quote ti aiutano inoltre a gestire le tue Google Cloud risorse.

Il sistema delle quote di Cloud esegue le seguenti operazioni:

Nella maggior parte dei casi, quando provi a utilizzare una risorsa per un volume maggiore di quello consentito dalla quota, il sistema blocca l'accesso alla risorsa e l'attività che stai tentando di eseguire non va a buon fine.

In genere, le quote si applicano a livello di Google Cloud progetto. L'utilizzo di una risorsa in un progetto non influisce sulla quota disponibile in un altro progetto. All'interno di un progetto Google Cloud , le quote vengono condivise tra tutte le applicazioni e gli indirizzi IP.

Per saperne di più, consulta la Panoramica delle quote di Cloud.

Esistono anche limiti di sistema per le risorse Lakehouse. I limiti di sistema non possono essere modificati.

Recuperare i nomi delle metriche di quote e limiti di sistema

Le quote e i limiti di sistema hanno due tipi di nomi: nomi visualizzati e nomi delle metriche. I nomi visualizzati hanno spazi e maiuscole che li rendono più facili da leggere per le persone. I nomi delle metriche sono più spesso in minuscolo e delimitati da trattini bassi anziché da spazi; il formato esatto dipende dal servizio.

Le seguenti istruzioni mostrano come ottenere i nomi delle metriche per quote e limiti di sistema utilizzando la console Google Cloud o Google Cloud CLI.

Console

  1. Nella Google Cloud console, vai alla pagina Identity and Access Management (IAM) e amministrazione > Quote e limiti di sistema:

    Vai a Quote e Limiti di sistema

    La tabella in questa pagina mostra le quote e i limiti di sistema che hanno un utilizzo o valori modificati e una voce di riferimento per le altre quote. La voce di riferimento contiene la parola "predefinito" tra parentesi alla fine dell'elenco nella colonna Nome. Ad esempio, SetIAM Policy requests per minute per region (default) è la voce di riferimento per la quota SetIamPolicyRequestsPerMinutePerProject.

  2. Se non vedi la colonna Metrica, segui questi passaggi.

    1. Fai clic su Opzioni di visualizzazione delle colonne.
    2. Seleziona Metrica.
    3. Fai clic su OK. La colonna Metrica viene visualizzata nella tabella.

    La colonna Metrica mostra i nomi delle metriche. Per filtrare i risultati, inserisci un nome o un valore della proprietà nel campo accanto a Filtro.

gcloud

Per ottenere i nomi delle metriche per un servizio utilizzando gcloud CLI, esegui il comando quotas info list. Per saltare le righe che non elencano i nomi delle metriche, passa l'output a un comando come grep con metric: come termine di ricerca oppure utilizza il--formatflag di gcloud CLI:

gcloud quotas info list --project=PROJECT_ID_OR_NUMBER \
    --service=SERVICE_NAME --format="value(metric)"

Sostituisci quanto segue:

  • PROJECT_ID_OR_NUMBER: l'ID progetto o il numero di progetto.
  • SERVICE_NAME: il nome del servizio di cui vuoi visualizzare le metriche delle quote, ad esempio il nome del servizio per Compute Engine è compute.googleapis.com. Includi la parte googleapis.com del nome del servizio.

Richiedi un aumento della quota

Per modificare la maggior parte delle quote, utilizza la Google Cloud console. Per ulteriori informazioni, consulta Richiedi un aggiustamento delle quote.

Quote

Le seguenti quote si applicano a Lakehouse:

Catalogo runtime Lakehouse

I seguenti limiti si applicano al catalogo runtime Lakehouse:

Limite Predefinito Note
Modifiche delle tabelle al giorno 1500 modifiche

Il tuo progetto può apportare fino a 1500 modifiche delle tabelle per tabella al giorno. Un job di caricamento, job di copia o job di query che aggiunge o sovrascrive i dati della tabella viene conteggiato come una modifica alla tabella. Questo limite non può essere modificato.

Le istruzioni DML sono escluse e non vengono conteggiate per il numero di modifiche delle tabelle al giorno.

I dati di streaming sono esclusi e non vengono conteggiati per il numero di modifiche delle tabelle al giorno.

Frequenza massima delle operazioni di aggiornamento dei metadati delle tabelle per tabella 5 operazioni ogni 10 secondi Il tuo progetto può eseguire fino a cinque operazioni di aggiornamento dei metadati delle tabelle ogni 10 secondi per tabella. Questo limite si applica a tutte le operazioni di aggiornamento dei metadati delle tabelle, eseguite da: Questo limite include anche il totale combinato di tutti i job di caricamento, job di copia e job di query che aggiungono dati a una tabella di destinazione o la sovrascrivono o che utilizzano un'istruzione DML DELETE, INSERT, MERGE, TRUNCATE TABLE o UPDATE per scrivere dati in una tabella. Tieni presente che, sebbene le istruzioni DML vengano conteggiate per questo limite, non sono soggette a questo limite se viene raggiunto. Le operazioni DML hanno limiti di frequenza dedicati.

Se superi questo limite, ricevi un messaggio di errore simile a Exceeded rate limits: too many table update operations for this table. Questo errore è temporaneo. Puoi ritentare con un backoff esponenziale.

Per identificare le operazioni che vengono conteggiate per questo limite, puoi Esaminare i log. Consulta Risolvere i problemi relativi agli errori di quota per indicazioni su come diagnosticare e risolvere questo errore.

Numero massimo di colonne per tabella 10.000 colonne Ogni tabella, risultato di query o definizione di visualizzazione può avere fino a 10.000 colonne. Sono incluse le colonne nidificate e ripetute.

Accesso ai dati cross-cloud

Quota Valore
Numero totale massimo di spazi dei nomi in un catalogo federato 100 spazi dei nomi
Numero massimo di tabelle per spazio dei nomi in un catalogo federato 300 tabelle per spazio dei nomi
Numero totale massimo di tabelle in un catalogo federato 10.000 tabelle
Numero massimo di filtri dello spazio dei nomi in un catalogo federato 16 filtri dello spazio dei nomi

Limiti del sistema

La tabella seguente elenca i limiti di sistema che si applicano a Lakehouse e il valore per ogni limite di sistema:

Limite di sistema Valore
Numero massimo di tabelle Apache Iceberg gestite da Lakehouse per bucket Cloud Storage supportato da una scansione di rilevamento 1000 tabelle per bucket