"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).

Google utilizza la tecnologia AI per tradurre i contenuti nella tua lingua preferita. Le traduzioni generate dall'AI potrebbero contenere errori.

Connettore BigQuery

Puoi utilizzare un connettore BigQuery per abilitare l'accesso in lettura e scrittura programmatico a BigQuery. Questo è un modo ideale per elaborare i dati archiviati in BigQuery. L'accesso da riga di comando non è esposto. Il connettore BigQuery è una libreria che consente alle applicazioni Spark e Hadoop di elaborare i dati di BigQuery e di scriverli in BigQuery utilizzando la sua terminologia nativa.

Prezzi

Quando utilizzi il connettore, i costi includono le tariffe di utilizzo di BigQuery. Potrebbero essere applicati anche i seguenti costi specifici per il servizio:

Cloud Storage: il connettore scarica i dati in un bucket Cloud Storage prima o durante l'esecuzione del job. Una volta completato il job, i dati vengono eliminati da Cloud Storage. Ti verrà addebitato il costo di questo spazio di archiviazione in base ai prezzi di Cloud Storage. Per evitare addebiti eccessivi, controlla il tuo account Cloud Storage e rimuovi i file temporanei non necessari.
API Storage Read: il connettore legge i dati dalle tabelle utilizzando l'API Storage Read per ottenere un throughput elevato.
- Quando le richieste provengono da Managed Service for Apache Spark serverless o stored procedure BigQuery per Apache Spark, i costi di lettura in modalità flusso dell'API Storage Read vengono delegati al connettore senza costi aggiuntivi. Se i dati vengono letti tra regioni, si applicano comunque le tariffe standard per il traffico in uscita dalla rete.
- Quando le richieste provengono da workload Apache Spark basati su cluster (come Managed Service for Apache Spark su cluster o Apache Spark in esecuzione su Google Kubernetes Engine (GKE)), si applicano i prezzi standard dell'API Storage Read.

Connettori disponibili

I seguenti connettori BigQuery sono disponibili per l'utilizzo nell'ecosistema Hadoop:

Il connettore Spark-BigQuery aggiunge un'origine dati Spark, che consente ai DataFrame di interagire direttamente con le tabelle BigQuery utilizzando le operazioni read e write di Spark.
Il connettore BigQuery di Hive aggiunge un gestore di archiviazione, che consente ad Apache Hive di interagire direttamente con le tabelle BigQuery utilizzando la sintassi HiveQL.
Il connettore Hadoop BigQuery consente ai mapper e ai reducer Hadoop di interagire con le tabelle BigQuery utilizzando versioni astratte delle classi InputFormat e OutputFormat.

Attenzione: il connettore BigQuery per Hadoop MapReduce non è supportato. Suggerimento: utilizza il connettore Spark BigQuery per migliorare le prestazioni. Per saperne di più, consulta Utilizza il connettore BigQuery con Spark.

Utilizza i connettori

Per una guida rapida all'utilizzo del connettore BigQuery, consulta i seguenti esempi:

Passaggi successivi

Scopri di più su BigQuery.
Segui l'esempio di BigQuery per Spark.
Scopri di più sul connettore Hive BigQuery.
Segui l'esempio di BigQuery per Java MapReduce.