Introduzione a BigQuery DataFrames

La libreria open source BigQuery DataFrames consente di elaborare terabyte di dati e addestrare modelli di AI e machine learning (ML) utilizzando API Python familiari. Puoi utilizzare le API pandas e scikit-learn per creare pipeline di dati e analizzare set di dati di grandi dimensioni direttamente in BigQuery senza spostare i dati sulla tua macchina client.

Vantaggi di BigQuery DataFrames

BigQuery DataFrames esegue le seguenti operazioni:

  • Offre oltre 750 API pandas e scikit-learn implementate tramite la conversione SQL in API BigQuery e BigQuery ML.
  • Rimanda l'esecuzione delle query per migliorare le prestazioni.
  • Estende le trasformazioni dei dati con funzioni Python definite dall'utente per consentirti di elaborare i dati in Google Cloud. Queste funzioni vengono implementate automaticamente come funzioni remote di BigQuery.
  • Si integra con Gemini Enterprise Agent Platform per consentirti di utilizzare i modelli Gemini per la generazione di testo.

Licenze

BigQuery DataFrames è distribuito con la licenza Apache-2.0.

BigQuery DataFrames contiene anche codice derivato dai seguenti pacchetti di terze parti:

Per maggiori dettagli, consulta la directory third_party/bigframes_vendored nel repository GitHub di BigQuery DataFrames.

Quote e limiti

  • Le quote di BigQuery si applicano ai BigQuery DataFrame, inclusi i componenti hardware, software e di rete.
  • È supportato un sottoinsieme di API pandas e scikit-learn. Per saperne di più, consulta API pandas supportate.
  • Devi eseguire esplicitamente la pulizia di tutte le funzioni Cloud Run Functions create automaticamente nell'ambito della pulizia della sessione. Per saperne di più, consulta API pandas supportate.

Prezzi

  • BigQuery DataFrames è un insieme di librerie Python open source disponibili per il download senza costi aggiuntivi.
  • BigQuery DataFrames utilizza BigQuery, Cloud Run Functions, Agent Platform e altri serviziGoogle Cloud , che comportano costi propri.
  • Durante l'utilizzo regolare, BigQuery DataFrames archivia i dati temporanei, come i risultati intermedi, nelle tabelle BigQuery. Queste tabelle vengono conservate per sette giorni per impostazione predefinita e ti vengono addebitati i costi per i dati archiviati al loro interno. Le tabelle vengono create nel set di dati _anonymous_ nel progetto Google Cloud specificato nell'opzione bf.options.bigquery.project.

Casi d'uso

Se hai familiarità con pandas, puoi utilizzare BigQuery DataFrames per lavorare con i dati di BigQuery con modifiche minime al codice. Ad esempio, puoi utilizzare i metodi pandas che già conosci per analizzare i dati di una tabella BigQuery:

import bigframes.pandas as bpd

# Load data from BigQuery
query_or_table = "bigquery-public-data.ml_datasets.penguins"
bq_df = bpd.read_gbq(query_or_table)

# Inspect one of the columns (or series) of the DataFrame:
bq_df["body_mass_g"]

# Compute the mean of this series:
average_body_mass = bq_df["body_mass_g"].mean()
print(f"average_body_mass: {average_body_mass}")

# Find the heaviest species using the groupby operation to calculate the
# mean body_mass_g:
(
    bq_df["body_mass_g"]
    .groupby(by=bq_df["species"])
    .mean()
    .sort_values(ascending=False)
    .head(10)
)

Puoi utilizzare BigQuery DataFrames per i seguenti casi d'uso di analisi e machine learning:

Esempi di codice e documentazione di riferimento

Esplora esempi di codice, blocchi note e documentazione di riferimento per BigQuery DataFrames:

Passaggi successivi