La memorizzazione nella cache del contesto aiuta a ridurre i costi e la latenza delle richieste a Gemini che contengono contenuti ripetuti. Gemini Enterprise Agent Platform offre due tipi di memorizzazione nella cache:
- Memorizzazione nella cache implicita: la memorizzazione nella cache automatica è abilitata per impostazione predefinita e offre risparmi sui costi quando si verificano successi della cache. La memorizzazione nella cache implicita include la memorizzazione nella cache in memoria e la memorizzazione nella cache durevole.
- Memorizzazione nella cache esplicita: memorizzazione nella cache manuale abilitata utilizzando l'API Gemini Enterprise, in cui dichiari esplicitamente i contenuti che vuoi memorizzare nella cache e se i tuoi prompt devono fare riferimento o meno ai contenuti memorizzati nella cache.
Sia per la memorizzazione nella cache implicita che per quella esplicita, il campo cachedContentTokenCount nei metadati della risposta indica il numero di token nella parte memorizzata nella cache dell'input.
Costi di archiviazione della memorizzazione nella cache
Sia per la memorizzazione nella cache implicita che per quella esplicita, ti vengono addebitati i token di input utilizzati per creare la cache al prezzo dell'input standard dei token. Per la memorizzazione nella cache esplicita, sono previsti anche costi di archiviazione in base alla durata della memorizzazione delle cache. Non sono previsti costi di archiviazione per la memorizzazione nella cache implicita. Per saperne di più, consulta i prezzi di Agent Platform.
Memorizzazione nella cache implicita
Per impostazione predefinita, tutti i progetti Google Cloud hanno la memorizzazione nella cache implicita abilitata. La memorizzazione nella cache implicita offre uno sconto del 90% sui token memorizzati nella cache rispetto ai token di input standard. Se abilitata, i risparmi sui costi impliciti dei successi della cache vengono trasferiti automaticamente a te.
La memorizzazione nella cache implicita archivia i prefissi in due livelli di archiviazione:
- Memorizzazione nella cache in memoria: i prefissi memorizzati nella cache vengono conservati in memoria. La capacità di memoria è limitata, quindi i prefissi vengono rimossi man mano che la capacità viene recuperata.
- Memorizzazione nella cache durevole: quando un prefisso viene rimosso dallo spazio di archiviazione in memoria, viene spostato nello spazio di archiviazione durevole anziché essere eliminato. Una richiesta successiva che riutilizza il prefisso può comunque ottenere un successo della cache, il che aumenta i tassi di successo della cache per i workload che riutilizzano lo stesso contesto per intervalli più lunghi.
Entrambi i livelli sono attivi per impostazione predefinita. Un prefisso memorizzato nella cache scade entro 24 ore dalla sua creazione e la maggior parte delle voci viene rimossa prima. Puoi disattivare la memorizzazione nella cache durevole e mantenere la memoria cache oppure puoi disattivare completamente la memorizzazione nella cache implicita. Se hai dubbi sulla conservazione dei dati, consulta Nessuna conservazione dei dati, che descrive come vengono gestiti i dati memorizzati nella cache e come disattivare ogni livello.
Per aumentare la probabilità di un successo della cache implicito, segui questi passaggi:
- Inserisci i contenuti di grandi dimensioni e comuni all'inizio del prompt.
- Inviare richieste con un prefisso simile in un breve periodo di tempo.
Modelli supportati
La memorizzazione nella cache implicita è disponibile sui modelli Gemini supportati, mentre la memorizzazione nella cache durevole è disponibile su un sottoinsieme di questi modelli.
Memorizzazione nella cache in memoria
La memorizzazione nella cache in memoria è supportata quando si utilizzano i seguenti modelli:
Fai clic per espandere i modelli supportati
- Gemini Robotics ER 2
- Gemini Nano Banana 2.1
- Gemini 4 Argon Cyber Permissive
- Gemini 4 Argon
- Gemini 3.8 Flash Cyber
- Gemini 3.8 Flash
- Gemini 3.7 Flash
- Gemini 3.6 Flash
- Gemini 3.5 Flash-Lite
- Gemini 3.5 Flash
- Gemini 3.1 Pro
- Gemini 3.1 Flash-Lite Image (Nano Banana 2 Lite)
- Gemini 3.1 Flash-Lite
- Gemini 3.1 Flash Image
- Gemini 3 Pro Image
- Gemini 3 Flash
- Gemini 2.5 Pro
- Gemini 2.5 Flash-Lite
- Gemini 2.5 Flash
Memorizzazione nella cache durevole
La memorizzazione nella cache durevole è supportata quando si utilizzano i seguenti modelli:
- Gemini 4 Argon
- Gemini 4 Argon Cyber Permissive
- Gemini 3.8 Flash
- Gemini 3.8 Flash Cyber
La memorizzazione nella cache implicita supporta anche i modelli aperti. Per saperne di più, consulta Modelli aperti di Agent Platform per MaaS.
Memorizzazione nella cache esplicita
La memorizzazione nella cache esplicita offre un maggiore controllo e garantisce uno sconto sui token di input che fanno riferimento a una memorizzazione nella cache del contesto esistente. Sui modelli Gemini 2.5 o versioni successive, questo sconto è del 90%; sui modelli Gemini 2.0, questo sconto è del 75%.
Utilizzando l'API Gemini Enterprise, puoi eseguire le seguenti attività:
- Crea memorizzazioni nella cache del contesto e controllale in modo più efficace.
- Utilizza la memorizzazione nella cache del contesto facendo riferimento ai suoi contenuti in una richiesta di prompt con il nome della risorsa.
- Aggiorna la scadenza di una memorizzazione nella cache del contesto (Time to Live o TTL) oltre i 60 minuti predefiniti.
- Elimina una memorizzazione nella cache del contesto quando non è più necessaria.
Puoi anche utilizzare l'API Gemini Enterprise per recuperare informazioni su una memorizzazione nella cache del contesto.
Le cache esplicite interagiscono con la memorizzazione nella cache implicita, il che potrebbe portare a una memorizzazione nella cache aggiuntiva oltre ai contenuti specificati durante la creazione di una cache. Per impedire la conservazione dei dati della cache, disattiva la memorizzazione nella cache implicita ed evita di creare cache esplicite. Per saperne di più, consulta Abilita e disabilita la memorizzazione nella cache.
Modelli supportati
La memorizzazione nella cache esplicita è supportata quando si utilizzano i seguenti modelli:
Fai clic per espandere i modelli supportati
Quando utilizzare la memorizzazione nella cache del contesto
La memorizzazione nella cache del contesto è particolarmente adatta agli scenari in cui un contesto iniziale sostanziale viene richiamato ripetutamente dalle richieste successive.
Gli elementi di contesto memorizzati nella cache, come una grande quantità di testo, un file audio o un file video, possono essere utilizzati nelle richieste di prompt all'API Gemini per generare l'output. Le richieste che utilizzano la stessa cache nel prompt includono anche un testo univoco per ogni prompt. Ad esempio, ogni richiesta di prompt che compone una conversazione in chat potrebbe includere la stessa memorizzazione nella cache del contesto che fa riferimento a un video insieme al testo univoco che comprende ogni turno della chat.
Prendi in considerazione l'utilizzo della memorizzazione nella cache del contesto per i seguenti casi d'uso:
- Chatbot con istruzioni di sistema dettagliate
- Analisi ripetitiva di file video lunghi
- Query ricorrenti su grandi insiemi di documenti
- Analisi frequente del repository di codice o correzione di bug
La memorizzazione nella cache implicita ed esplicita è supportata con il throughput riservato in anteprima. Per ulteriori dettagli, consulta la guida al throughput riservato. Le cache funzionano con diversi tipi di traffico. Ad esempio, una cache creata durante l'utilizzo del throughput riservato funziona anche con PayGo.
Disponibilità
La memorizzazione nella cache del contesto è disponibile nelle regioni in cui è disponibile l'AI generativa su Agent Platform. Per saperne di più, consulta Località dell'AI generativa su Agent Platform.
Limiti
La memorizzazione nella cache del contesto rispetta i limiti indicati nella tabella seguente:
| Limiti della memorizzazione nella cache del contesto | |
|---|---|
Numero minimo di token di cache per la memorizzazione nella cache implicita ed esplicita |
|
Dimensione massima dei contenuti che puoi memorizzare nella cache utilizzando un blob o un testo |
10 MB |
Tempo minimo prima della scadenza di una cache dopo la sua creazione |
1 minuto |
Tempo massimo prima della scadenza di una cache dopo la sua creazione |
Non esiste una durata massima della cache |
Durata massima di un prefisso memorizzato nella cache in modo implicito |
Fino a 24 ore |
Isolamento e sicurezza dei dati della cache per i workload agentici
Google Cloud utilizza il numero di progetto per isolare i dati memorizzati nella cache e i contenuti memorizzati nella cache non vengono mai condivisi tra i progetti.
Per evitare fughe di dati tra utenti nei workload degli agenti, limita i dati e gli output dei prompt memorizzati nella cache a ogni sessione utente. Quando esegui agenti in background o proxy multi-tenant, allinea i limiti della cache alle autorizzazioni degli utenti finali in modo che un agente non possa riutilizzare le credenziali o i dati memorizzati nella cache tra gli utenti.
Supporto dei Controlli di servizio VPC
La memorizzazione nella cache del contesto supporta i Controlli di servizio VPC, il che significa che la cache non può essere esfiltrata oltre il perimetro di servizio. Se utilizzi Cloud Storage per creare la cache, includi anche il bucket nel perimetro di servizio per proteggere i contenuti della cache.
Per saperne di più, consulta Controlli di servizio VPC con Agent Platform nella documentazione di Agent Platform.
Passaggi successivi
- Scopri di più sull'API Gemini.
- Scopri come utilizzare i prompt multimodali.