Panoramica dell'API Gemini Live

L'API Gemini Live consente interazioni vocali e video in tempo reale e a bassa latenza con Gemini. Elabora flussi continui di audio, video o testo per fornire risposte vocali immediate e simili a quelle umane. In questo modo, gli utenti possono usufruire di un'esperienza conversazionale naturale. Gli avatar live aggiungono l'opzione di interagire con un'icona simile a un essere umano che si sincronizza con le risposte vocali, offrendo un'esperienza migliorata e personalizzata con gli utenti.

Prova l'API Gemini Live in Agent Studio

Esempi di casi d'uso

L'API Gemini Live può essere utilizzata per creare agenti vocali e video in tempo reale per una varietà di settori, tra cui:

  • Ambassador aziendali con brand: rappresentanti interattivi del brand implementati su proprietà web aziendali o applicazioni mobile, generati da somiglianze di dipendenti autorizzati o talenti pagati con liberatorie aziendali firmate.

  • E-commerce e vendita al dettaglio: assistenti per lo shopping che offrono consigli personalizzati e agenti di assistenza che risolvono i problemi dei clienti.

  • Gaming: personaggi non giocanti (NPC) interattivi, assistenti di aiuto in-game e traduzione in tempo reale dei contenuti in-game.

  • Interfacce di nuova generazione: esperienze con funzionalità vocali e video in robotica, occhiali smart e veicoli.

  • Sanità: guide di navigazione che aiutano nella logistica delle strutture e dell'assistenza.

  • Servizi finanziari: agenti conversazionali che smistano le richieste bancarie quotidiane.

  • Istruzione: mentori e compagni di apprendimento AI che forniscono istruzioni e feedback personalizzati.

Funzionalità principali

L'API Gemini Live offre un set completo di funzionalità per la creazione di agenti vocali e video efficaci:

  • Alta qualità audio: l'API Gemini Live fornisce un parlato naturale e realistico in più lingue.

  • Supporto multilingue: conversazioni in 24 lingue supportate.

  • Interruzione: gli utenti possono interrompere il modello in qualsiasi momento per interazioni reattive.

  • Dialogo empatico: adatta lo stile e il tono della risposta all'espressione dell'input dell'utente.

  • Utilizzo degli strumenti: integra strumenti come la chiamata di funzione e la Ricerca Google per interazioni dinamiche.

  • Trascrizioni audio: fornisce trascrizioni di testo sia dell'input utente che dell'output del modello. Per la trascrizione come obiettivo finale, anziché come canale secondario di una conversazione, consulta Gemini 3.5 Transcribe.

  • Audio proattivo: ti consente di controllare quando il modello risponde e in quali contesti.

Specifiche tecniche

La tabella seguente illustra le specifiche tecniche dell'API Gemini Live:

Categoria Dettagli
Modalità di input Audio (audio PCM non elaborato a 16 bit, 16 kHz, little-endian), immagini/video (JPEG 1 FPS), testo
Modalità di output Audio (audio PCM non elaborato a 16 bit, 24 kHz, little-endian), testo
Video (avatar live) Video (mp4)
Protocollo Connessione WebSocket stateful (WSS)

Modelli supportati

I seguenti modelli supportano l'API Gemini Live. Seleziona il modello appropriato in base ai requisiti di interazione.

ID modello Disponibilità Caso d'uso Funzionalità principali
gemini-3.8-live Disponibilità generale Opzione consigliata. Agenti vocali a bassa latenza. Supporta il passaggio da una lingua all'altra senza interruzioni.
  • Audio nativo
  • Trascrizioni audio
  • Rilevamento di attività vocale
  • Dialogo empatico
  • Audio proattivo
  • Utilizzo degli strumenti
  • Avatar live
gemini-live-2.5-flash-native-audio Disponibilità generale Opzione consigliata. Agenti vocali a bassa latenza. Supporta il passaggio da una lingua all'altra senza interruzioni e il tono emotivo.
  • Audio nativo
  • Trascrizioni audio
  • Rilevamento di attività vocale
  • Dialogo empatico
  • Audio proattivo
  • Utilizzo degli strumenti
gemini-3.5-transcribe-live-preview Anteprima Solo conversione della voce in testo. Sottotitoli codificati, dettatura e trascrizione delle chiamate in tempo reale. Restituisce testo, non audio, quindi non tiene una conversazione.
  • Trascrizioni provvisorie e finali
  • Rilevamento automatico della lingua con cambio di codice
  • Timestamp a livello di enunciato
  • Bias del vocabolario personalizzato

Inizia

Seleziona la guida corrispondente al tuo ambiente di sviluppo:

Consigliato per la facilità d'uso

Connettiti all'API Gemini Live utilizzando l'SDK Gen AI per creare un'applicazione multimodale in tempo reale con un backend Python.

Controllo del protocollo non elaborato

Connettiti all'API Gemini Live utilizzando WebSockets per creare un'applicazione multimodale in tempo reale con un frontend JavaScript e un backend Python.

Agent Development Kit

Crea un agente e utilizza lo streaming dell'Agent Development Kit (ADK) per abilitare la comunicazione vocale e video.

Integrazioni con i partner

Se vuoi eseguire l'integrazione con alcuni dei nostri partner, queste piattaforme hanno già integrato l'API Gemini Live tramite il protocollo WebRTC per semplificare lo sviluppo di applicazioni audio e video in tempo reale.

Architettura di riferimento LiveKit e ADK

Per gli assistenti vocali avanzati di livello di produzione che richiedono un'orchestrazione delle sessioni, un routing e una delega multi-agente sofisticati, puoi creare un'integrazione bidirezionale a bassa latenza utilizzando LiveKit (WebRTC) con l'API Gemini Live tramite l'Agent Development Kit (ADK).

Questa architettura ti consente di eseguire il deployment di un agente orchestratore che gestisce l'interazione iniziale con il cliente e indirizza dinamicamente le richieste a sub-agenti specializzati (ad esempio, delegando il contesto a un agente di prenotazione di voli o di hotel utilizzando l'orchestrazione di transferAgent).

Per esplorare e implementare questo design di riferimento, consulta l'implementazione ufficiale del codebase di riferimento su GitHub.