Présentation de BigQuery DataFrames

La bibliothèque BigQuery DataFrames Open Source vous permet de traiter des téraoctets de données et d'entraîner des modèles d'IA et de machine learning (ML) à l'aide d'API Python connues. Vous pouvez utiliser les API pandas et scikit-learn pour créer des pipelines de données et analyser des ensembles de données volumineux directement dans BigQuery sans déplacer les données vers votre machine cliente.

Avantages de BigQuery DataFrames

BigQuery DataFrames effectue les opérations suivantes :

  • Propose plus de 750 API pandas et scikit-learn mises en œuvre via une conversion SQL vers les API BigQuery et BigQuery ML.
  • Diffère l'exécution des requêtes pour améliorer les performances.
  • Étendre les transformations de données à l'aide de fonctions Python définies par l'utilisateur pour permettre de traiter des données dans Google Cloud. Ces fonctions sont automatiquement déployées en tant que fonctions distantes BigQuery.
  • S'intègre à Gemini Enterprise Agent Platform pour vous permettre d'utiliser des modèles Gemini pour la génération de texte.

Licences

BigQuery DataFrames est distribué sous la licence Apache-2.0.

BigQuery DataFrames contient également du code dérivé des packages tiers suivants :

Pour en savoir plus, consultez le répertoire third_party/bigframes_vendored dans le dépôt GitHub BigQuery DataFrames.

Quotas et limites

  • Les quotas BigQuery s'appliquent à BigQuery DataFrames, y compris aux composants matériels, logiciels et réseau.
  • Un sous-ensemble d'API pandas et scikit-learn est compatible. Pour en savoir plus, consultez la section API pandas compatibles.
  • Lors du nettoyage de la session, vous devez nettoyer explicitement toutes les fonctions Cloud Run Functions qui ont été créées automatiquement. Pour en savoir plus, consultez la section API pandas compatibles.

Tarifs

  • BigQuery DataFrames est un ensemble de bibliothèques Open Source Python disponibles en téléchargement sans frais supplémentaires.
  • BigQuery DataFrames utilise BigQuery, Cloud Run Functions, Agent Platform et d'autres servicesGoogle Cloud , qui sont chacun soumis à une tarification spécifique.
  • Dans le cadre d'une utilisation normale, BigQuery DataFrames stocke des données temporaires, telles que des résultats intermédiaires, dans des tables BigQuery. Ces tables sont conservées pendant sept jours par défaut, et les données qu'elles contiennent vous sont facturées. Les tables sont créées dans l'ensemble de données _anonymous_ du projet Google Cloud que vous spécifiez dans l'option bf.options.bigquery.project.

Cas d'utilisation

Si vous connaissez pandas, vous pouvez utiliser BigQuery DataFrames pour travailler avec des données BigQuery en apportant un minimum de modifications à votre code. Par exemple, vous pouvez utiliser des méthodes pandas familières pour analyser les données d'une table BigQuery :

import bigframes.pandas as bpd

# Load data from BigQuery
query_or_table = "bigquery-public-data.ml_datasets.penguins"
bq_df = bpd.read_gbq(query_or_table)

# Inspect one of the columns (or series) of the DataFrame:
bq_df["body_mass_g"]

# Compute the mean of this series:
average_body_mass = bq_df["body_mass_g"].mean()
print(f"average_body_mass: {average_body_mass}")

# Find the heaviest species using the groupby operation to calculate the
# mean body_mass_g:
(
    bq_df["body_mass_g"]
    .groupby(by=bq_df["species"])
    .mean()
    .sort_values(ascending=False)
    .head(10)
)

Vous pouvez utiliser BigQuery DataFrames pour les cas d'utilisation d'analyse et de machine learning suivants :

Exemples de code et documentation de référence

Découvrez des exemples de code, des notebooks et la documentation de référence pour BigQuery DataFrames :

Étapes suivantes