Questo documento elenca le quote che si applicano a Knowledge Catalog (in precedenza Dataplex Universal Catalog).
Google Cloud utilizza le quote per garantire l'equità e ridurre i picchi di utilizzo e disponibilità delle risorse. Una quota limita la quantità di una Google Cloud risorsa che Google Cloud il progetto può utilizzare. Le quote si applicano a una serie di tipi di risorse, inclusi hardware, software e componenti di rete. Ad esempio, le quote possono limitare il numero di chiamate API a un servizio, il numero di bilanciatori del carico utilizzati contemporaneamente dal tuo progetto o il numero di progetti che puoi creare. Le quote proteggono la community degli utentiGoogle Cloud impedendo il sovraccarico dei servizi. Le quote ti aiutano inoltre a gestire le tue Google Cloud risorse.
Il sistema delle quote di Cloud esegue le seguenti operazioni:
- Monitora il tuo consumo di Google Cloud prodotti e servizi
- Limita il consumo di queste risorse
- Fornisce un modo per richiedere modifiche al valore della quota e automatizzare gli aggiustamenti della quota
Nella maggior parte dei casi, quando provi a utilizzare una risorsa per un volume maggiore di quello consentito dalla quota, il sistema blocca l'accesso alla risorsa e l'attività che stai tentando di eseguire non va a buon fine.
In genere, le quote si applicano a livello di Google Cloud progetto. L'utilizzo di una risorsa in un progetto non influisce sulla quota disponibile in un altro progetto. All'interno di un progetto Google Cloud , le quote vengono condivise tra tutte le applicazioni e gli indirizzi IP.
Per saperne di più, consulta Panoramica delle quote di Cloud.
Esistono anche limiti di sistema per le risorse Knowledge Catalog. I limiti di sistema non possono essere modificati.
Knowledge Catalog applica quote al numero di richieste API durante un periodo di tempo specifico e al numero di risorse che possono essere create in un progetto. Le quote ti proteggono da picchi di utilizzo imprevisti e sovraccarichi dei servizi. Scopri di più sul motivo per cui vengono applicate le quote.
Le tue esigenze di quota potrebbero aumentare man mano che utilizzi Knowledge Catalog. Se una quota è troppo bassa per soddisfare le tue esigenze o se prevedi un aumento imminente dell'utilizzo, puoi richiedere un aumento della quota in modo proattivo.
Informazioni sui tipi di richieste API
Le richieste API relative alle varie funzionalità di Knowledge Catalog, come la gestione delle risorse, i metadati, le attività e le scansioni dei dati, sono suddivise in bucket generici per gestire l'utilizzo e la protezione del servizio.
Richieste di lettura
Le richieste di lettura sono operazioni progettate per recuperare informazioni su risorse, metadati o cronologia di esecuzione esistenti senza modificare alcuna configurazione o stato. Queste operazioni non sono mutanti e non attivano nuovi job di elaborazione.
Le operazioni di richiesta di lettura includono Get, List e Describe. Ad esempio, la visualizzazione della definizione di un'analisi dei dati o dello stato di un job di analisi è una richiesta di lettura.
Richieste di scrittura
Le richieste di scrittura includono tutte le operazioni che creano, aggiornano o eliminano le definizioni delle risorse, nonché quelle che modificano le policy di sicurezza. Si tratta di operazioni che modificano lo stato dell'ambiente.
Le operazioni di richiesta di scrittura includono Create, Update, Delete, Cancel e
SetIamPolicy. Ad esempio, la configurazione di una scansione della qualità dei dati o l'aggiornamento di una scansione di profilazione dei dati esistente è una richiesta di scrittura.
Esegui richieste
Le richieste di esecuzione si riferiscono specificamente all'attivazione dell'esecuzione attiva di una risorsa preconfigurata. A differenza di una richiesta di scrittura (che potrebbe creare una pianificazione ricorrente), una richiesta di esecuzione viene spesso utilizzata per l'esecuzione on demand della logica configurata.
Ad esempio, l'avvio manuale dell'esecuzione di un'analisi dei dati è una richiesta di esecuzione.
Quote per le richieste API Dataplex
L'API Dataplex applica quote per le richieste di gestione e ricerca delle risorse di Knowledge Catalog a diversi livelli, indipendentemente dalla loro origine. Sono incluse le richieste provenienti direttamente da chiamate API, librerie client, Google Cloud CLI e console Google Cloud .
Le seguenti quote si applicano alle richieste di Knowledge Catalog:
| Quota | Predefinito |
|---|---|
| Richieste di lettura per voci e aspetti per progetto per regione al minuto | 6000 |
| Richieste di scrittura per voci e aspetti per progetto per regione al minuto | 1500 |
| Richieste di lettura per tipi di aspetti, tipi di voci e gruppi di voci per progetto per utente per regione al minuto | 100 |
| Richieste di lettura per tipi di aspetti, tipi di voci e gruppi di voci per progetto per regione al minuto | 200 |
| Richieste di scrittura per tipi di aspetti, tipi di voci e gruppi di voci per progetto per utente per regione al minuto | 10 |
| Richieste di scrittura per tipi di aspetti, tipi di voci e gruppi di voci per progetto per regione al minuto | 20 |
| Richieste di ricerca per progetto per utente al minuto | 900 |
| Richieste di ricerca per progetto al minuto | 1200 |
| Richieste di ricerca per organizzazione al minuto | 2400 |
| Richieste di ricerca per organizzazione al giorno | 345.600 |
| Richieste di lettura per i job di metadati per progetto per regione al minuto | 400 |
| Richieste di lettura per i job dei metadati per progetto per utente per regione al minuto | 200 |
| Richieste di scrittura per i job di metadati per progetto per regione al minuto | 20 |
| Richieste di scrittura per job di metadati per progetto per utente per regione al minuto | 10 |
| Richieste di lettura per le scansioni dei dati per progetto per regione al minuto | 1200 |
| Richieste di lettura per le scansioni dei dati per progetto per utente per regione al minuto | 600 |
| Richieste di scrittura per le scansioni dei dati per progetto per regione al minuto | 200 |
| Richieste di scrittura per le scansioni dei dati per progetto per utente per regione al minuto | 100 |
| Esegui richieste per scansioni di dati per progetto per regione al minuto | 60 |
| Esegui richieste di scansioni dei dati per progetto per utente per regione al minuto | 30 |
| Esecuzioni giornaliere totali di scansioni di profilazione dei dati per dati non strutturati su tabelle di oggetti BigQuery per progetto | 140 |
| Quantità di metadati esportati dai job di esportazione dei metadati, per organizzazione al giorno | 10 GB |
|
Quantità di metadati scansionati per l'esportazione dai job di esportazione dei metadati, per organizzazione al giorno Questa quota valuta il volume totale di metadati esistenti nell'organizzazione, nei progetti o nei gruppi di voci che rientrano nell'ambito del job di esportazione dei metadati. |
100 GB |
Per ogni richiesta di Knowledge Catalog elencata nella tabella seguente, la quota viene applicata sia a livello di progetto sia a livello di progetto per utente.
| Quota | Esempi |
|---|---|
| Richieste di lettura per la gestione delle risorse | Recupera un lake, elenca le zone |
| Richieste di scrittura per la gestione delle risorse | Crea un lake, elimina un asset |
| Richieste GET per i metadati | Ottieni un'entità, ottieni una partizione |
| Richieste di elenco per i metadati | Elenca entità, elenca partizioni |
| Richieste di scrittura per i metadati | Aggiorna un'entità, elimina una partizione |
| Richieste di lettura per le risorse di attività e job | Ottieni un'attività, elenca i job |
| Richieste di scrittura per le risorse di attività e job | Crea un'attività, annulla un job |
| Richieste di impostazione della policy IAM | Imposta una policy IAM |
Quote per le richieste API Data Lineage
L'API Data Lineage applica le quote per quanto segue:
- Richieste di lettura che restituiscono solo i dati
- Richieste di scrittura che creano o modificano i dati
- Crea Open Lineage
Le seguenti quote si applicano alle richieste di derivazione dei dati:
| Quota | Valore predefinito |
|---|---|
Richieste di lettura (SearchLinks, BatchSearchLinkProcesses, Get*, List*) per progetto per regione (ad esempio, us-central1) al minuto |
2000 |
Richieste di lettura (SearchLinks, BatchSearchLinkProcesses, Get*, List*) per progetto per multi-regione (us, eu, asia) al minuto |
1000 |
Richieste di scrittura (Create*, Update*, Delete*) per progetto per regione (ad esempio us-central1) al minuto |
12.000 |
Richieste di scrittura (Create*, Update*, Delete*) per progetto per multi-regione (us, eu, asia) al minuto |
6000 |
Richieste OpenLineage (ProcessOpenLineageRunEvent) per progetto per regione (ad esempio us-central1) al minuto |
2000 |
Richieste OpenLineage (ProcessOpenLineageRunEvent) per progetto per multiregione (us, eu, asia) al minuto |
1000 |
Quote per le richieste API Dataplex per i prodotti di dati
L'API Dataplex applica limiti di frequenza alle operazioni sui metadati e alle richieste del ciclo di vita per i prodotti dati e gli asset di dati. Questi limiti si applicano indipendentemente dal fatto che le richieste provengano dalla console Google Cloud , da Google Cloud CLI, dalle librerie client o da chiamate API dirette.
Le seguenti quote si applicano alle richieste di prodotti di dati e asset di dati:
| Quota | Valore predefinito |
|---|---|
| Richieste di lettura per i prodotti di dati per progetto per regione al minuto | 500 |
| Richieste di lettura per prodotti di dati per progetto per utente per regione al minuto | 250 |
| Richieste di creazione ed eliminazione di prodotti di dati per progetto per regione al minuto | 250 |
| Richieste di creazione ed eliminazione di prodotti di dati per progetto per utente per regione al minuto | 125 |
| Richieste di aggiornamento per i prodotti di dati per progetto al minuto | 10 |
| Aggiorna le richieste per i prodotti di dati per progetto per utente al minuto | 5 |
| Richieste di lettura per asset di dati per progetto per regione al minuto | 500 |
| Richieste di lettura per asset di dati per progetto per utente per regione al minuto | 250 |
| Richieste di scrittura per asset di dati per progetto per regione al minuto | 30 |
| Richieste di scrittura per asset di dati per progetto per utente per regione al minuto | 15 |
Quote e limiti per le attività di arricchimento di Knowledge Studio
L'API Dataplex applica quote di frequenza e risorse alle attività di arricchimento di Knowledge Studio (risorse AgentTask) e alle esecuzioni delle attività (risorse AgentRun).
Le seguenti quote si applicano alle attività di arricchimento di Knowledge Studio:
| Quota | Valore predefinito |
|---|---|
Richieste di lettura per le risorse delle attività di arricchimento (come Get e List per attività ed esecuzioni) per progetto per regione al minuto |
1200 |
Richieste di scrittura per le risorse delle attività di arricchimento (come Create, Update e Delete) per progetto per regione al minuto |
60 |
| Esegui richieste per le risorse delle attività di arricchimento per progetto per regione al minuto | 20 |
Numero massimo di attività di arricchimento (risorse AgentTask) per progetto per regione |
100 |
Quote e limiti per gli insight sui dati
Gli insight sui dati utilizzano l'API Data Analytics con Gemini (geminidataanalytics.googleapis.com) per misurare il consumo di token di input e output. Per impostazione predefinita, le quote di token giornaliere sono impostate su illimitate, il che consente l'esecuzione di tutte le scansioni di insight senza interruzioni.
Per controllare i costi in un progetto Google Cloud , gli amministratori possono monitorare il consumo giornaliero di token e impostare limiti giornalieri personalizzati per i token di input e di output a pagamento. Per saperne di più sul monitoraggio dell'utilizzo dei token per gli insight sui dati, consulta Monitora l'utilizzo dei token per gli insight sui dati.
Quote di token disponibili
Agli insight sui dati si applicano le seguenti quote di token:
| Quota | Servizio | Nome metrica | Finestra di ambito e reimpostazione | Limite predefinito |
|---|---|---|---|---|
| Token di input a pagamento al giorno per progetto per Knowledge Catalog Insights | API Data Analytics con Gemini
(geminidataanalytics.googleapis.com) |
geminidataanalytics.googleapis.com/cost_control/kc_insights/paid_input_tokens
|
Per progetto, al giorno (viene reimpostato ogni giorno alla mezzanotte del fuso orario del Pacifico, 00:00 PT) | Illimitato |
| Token di output a pagamento al giorno per progetto per Knowledge Catalog Insights | API Data Analytics con Gemini
(geminidataanalytics.googleapis.com) |
geminidataanalytics.googleapis.com/cost_control/kc_insights/paid_output_tokens
|
Per progetto, al giorno (viene reimpostato ogni giorno alla mezzanotte del fuso orario del Pacifico, 00:00 PT) | Illimitato |
Controlla e gestisci le quote di token giornaliere
Puoi visualizzare l'utilizzo attuale dei token, i grafici di utilizzo e impostare o reimpostare i limiti giornalieri dei token nella pagina Quote e limiti di sistema della consoleGoogle Cloud filtrando per Servizio: API Data Analytics con Gemini.
Per istruzioni passo passo e le autorizzazioni richieste, consulta la seguente documentazione sulle quote Cloud:
- Controlla l'utilizzo e i grafici: consulta Visualizza le quote per il tuo progetto e Visualizza ed esporta l'utilizzo della quota nel tempo. L'utilizzo dei token viene aggiornato in modo asincrono al termine di una scansione e non in tempo reale.
- Imposta o reimposta un limite giornaliero: consulta
Crea un override della quota e
Reimposta un valore della quota. Imposta un numero intero positivo per limitare l'utilizzo giornaliero dei token per il progetto, imposta
0per mettere immediatamente in pausa la generazione di tutti i nuovi insight a pagamento o reimposta il valore della quota per ripristinare il valore predefinito illimitato.
Quote per le risorse
La quota di risorse viene applicata a livello di progetto per i seguenti tipi di risorse: lake, zona, asset, attività on demand, attività ricorrente. Puoi controllare l'utilizzo attuale della quota di Knowledge Catalog nella pagina Quote della console Google Cloud .
Richiedi un aumento della quota
Nella console Google Cloud , vai alla pagina Quote.
Seleziona la quota che vuoi modificare.
Fai clic su Altre azioni > Modifica quota.
Inserisci il nuovo valore della quota e una descrizione della richiesta.
Fai clic su Avanti.
Inserisci i dati di contatto.
Fai clic su Invia richiesta.
Per modificare la maggior parte delle quote, utilizza la console Google Cloud . Per ulteriori informazioni, consulta Richiedi un aggiustamento delle quote.
Dipendenze delle quote
L'utilizzo di Knowledge Catalog potrebbe coinvolgere altri prodotti Google Cloud . Ad esempio, il rilevamento dei dati richiede la chiamata delle API Cloud Storage o API BigQuery per interagire con le risorse sottostanti. Questi prodotti hanno quote a livello di progetto, che includono quote che si applicano all'utilizzo di Knowledge Catalog.
Pagine delle quote di altri prodotti che potresti utilizzare con Knowledge Catalog:
Questo elenco non è completo.
Limiti
A Knowledge Catalog si applicano i seguenti limiti:
| Limite | Valore |
|---|---|
| Dimensioni di una richiesta di entry e aspetti (incluso l'aspetto dello schema) | 2 MB |
| Lunghezza di un ID voce | 4000 caratteri |
| Lunghezza di un nome completo in una voce | 4000 caratteri |
| Lunghezza del nome visualizzato dell'origine di ingresso in una voce | 500 caratteri |
| Lunghezza della descrizione dell'origine di ingresso in una voce | 2000 caratteri |
| Lunghezza della risorsa dell'origine di ingresso in una voce | 4000 caratteri |
| Lunghezza del sistema di origine della voce in una voce | 64 caratteri |
| Lunghezza della piattaforma di origine della voce in una voce | 64 caratteri |
| Lunghezza delle etichette dell'origine della voce in una voce | 128 caratteri per ogni chiave e valore |
| Dimensioni dei contenuti JSON in un aspetto (ad eccezione degli aspetti dello schema e del profilo dei dati) | 120 kB |
| Dimensione dei contenuti JSON in un aspetto del profilo dati | 1 MB |
| Dimensioni totali di una voce | 5 MB |
| Numero massimo di aspetti in una voce | 10.000 |
| Lunghezza del nome visualizzato del tipo di voce, del tipo di aspetto e del gruppo di voci | 256 |
| Lunghezza della descrizione del tipo di voce, del tipo di aspetto e del gruppo di voci | 1024 |
| Lunghezza del nome del campo in un template del tipo di aspetto | 63 |
| Numero massimo di tipi di aspetto obbligatori in un tipo di voce | 20 |
| Numero massimo di valori enum in un modello di tipo di aspetto | 1024 |
| Numero massimo di elementi nei risultati di ricerca di Knowledge Catalog | 500 (modalità di ricerca solo per parole chiave nella console Google Cloud o
semanticSearch=false quando utilizzi l'API)100 (tutti gli altri casi di ricerca) |
| Numero massimo di scansioni dei dati per progetto per regione | 1000 |
| Numero massimo di prodotti di dati per progetto per regione | 1000 |
| Numero massimo di asset di dati per prodotto di dati | 50 |
| Numero massimo di tag di policy per tassonomia | 100 |