מבוא ל-BigQuery DataFrames

ספריית הקוד הפתוח BigQuery DataFrames מאפשרת לעבד נתונים בנפח של טרה-בייטים ולאמן מודלים של AI ושל למידת מכונה (ML) באמצעות ממשקי API בשפת Python מוכרים. אתם יכולים להשתמש בממשקי ה-API של pandas ו-scikit-learn כדי ליצור פייפליינים ולנתח מערכי נתונים עצומים ישירות ב-BigQuery, בלי להעביר נתונים למכונה של הלקוח.

היתרונות של BigQuery DataFrames

‫BigQuery DataFrames מבצע את הפעולות הבאות:

  • מציע יותר מ-750 ממשקי API של pandas ו-scikit-learn, שמוטמעים באמצעות המרה של SQL לממשקי API של BigQuery ו-BigQuery ML.
  • דחיית הרצת השאילתות כדי לשפר את הביצועים.
  • הרחבת טרנספורמציות של נתונים באמצעות פונקציות Python בהגדרת המשתמש, כדי שתוכלו לעבד נתונים ב- Google Cloud. הפונקציות האלה נפרסות באופן אוטומטי כפונקציות מרוחקות של BigQuery.
  • משתלב עם Gemini Enterprise Agent Platform כדי לאפשר לכם להשתמש במודלים של Gemini ליצירת טקסט.

רישוי

‫BigQuery DataFrames מופץ עם רישיון Apache-2.0.

‫BigQuery DataFrames מכיל גם קוד שנגזר מחבילות הצד השלישי הבאות:

פרטים נוספים זמינים בספרייה third_party/bigframes_vendored במאגר של BigQuery DataFrames ב-GitHub.

מכסות ומגבלות

תמחור

  • ‫BigQuery DataFrames היא קבוצה של ספריות Python בקוד פתוח שאפשר להוריד בלי עלות נוספת.
  • ‫BigQuery DataFrames משתמש ב-BigQuery, בפונקציות Cloud Run, ב-Agent Platform ובשירותים אחרים שלGoogle Cloud , שכוללים עלויות משלהם.
  • במהלך שימוש רגיל, BigQuery DataFrames מאחסן נתונים זמניים, כמו תוצאות ביניים, בטבלאות BigQuery. הטבלאות האלה נשמרות למשך שבעה ימים כברירת מחדל, ואתם מחויבים על הנתונים שמאוחסנים בהן. הטבלאות נוצרות במערך הנתונים _anonymous_ בפרויקט Google Cloud שציינתם באפשרות bf.options.bigquery.project.

תרחישים לדוגמה

אם אתם מכירים את pandas, אתם יכולים להשתמש ב-BigQuery DataFrames כדי לעבוד עם נתוני BigQuery בשינויים מינימליים בקוד. לדוגמה, אתם יכולים להשתמש בשיטות pandas מוכרות כדי לנתח נתונים מטבלה ב-BigQuery:

import bigframes.pandas as bpd

# Load data from BigQuery
query_or_table = "bigquery-public-data.ml_datasets.penguins"
bq_df = bpd.read_gbq(query_or_table)

# Inspect one of the columns (or series) of the DataFrame:
bq_df["body_mass_g"]

# Compute the mean of this series:
average_body_mass = bq_df["body_mass_g"].mean()
print(f"average_body_mass: {average_body_mass}")

# Find the heaviest species using the groupby operation to calculate the
# mean body_mass_g:
(
    bq_df["body_mass_g"]
    .groupby(by=bq_df["species"])
    .mean()
    .sort_values(ascending=False)
    .head(10)
)

אתם יכולים להשתמש ב-BigQuery DataFrames לתרחישים הבאים של ניתוח נתונים ולמידת מכונה:

דוגמאות קוד ומאמרי עזרה

דוגמאות קוד, קובצי Notebook ומאמרי עזרה בנושא BigQuery DataFrames:

המאמרים הבאים