"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).

‫Google משתמשת בטכנולוגיית AI כדי לתרגם תוכן לשפה המועדפת עליך. בתרגומים כאלו עשויות להיות שגיאות.

מחבר BigQuery

אפשר להשתמש במחבר ל-BigQuery כדי לאפשר גישת קריאה וכתיבה תוכניתית ל-BigQuery. זו דרך אידיאלית לעיבוד נתונים שמאוחסנים ב-BigQuery. הגישה לשורת הפקודה לא חשופה. מחבר ל-BigQuery הוא ספרייה שמאפשרת לאפליקציות של Spark ו-Hadoop לעבד נתונים מ-BigQuery ולכתוב נתונים ל-BigQuery באמצעות המינוח המקורי שלה.

תמחור

כשמשתמשים במחבר, החיובים כוללים עמלות שימוש ב-BigQuery. יכול להיות שיחולו גם העלויות הספציפיות לשירותים הבאים:

‫Cloud Storage – המחבר מוריד נתונים לקטגוריה של Cloud Storage לפני או במהלך ההפעלה של העבודה. אחרי שהעבודה מסתיימת בהצלחה, הנתונים נמחקים מ-Cloud Storage. החיוב על נפח האחסון הזה מתבצע בהתאם לתמחור של Cloud Storage. כדי להימנע מחיובים על חריגה מהמיכסה, כדאי לבדוק את החשבון ב-Cloud Storage ולהסיר קבצים זמניים לא נחוצים.
‫Storage Read API – המחבר קורא נתונים מטבלאות באמצעות Storage Read API כדי להשיג תפוקה גבוהה.
- כשבקשות מגיעות מ-Managed Service for Apache Spark serverless או מ-BigQuery stored procedures for Apache Spark, עלויות הקריאה של נתוני הסטרימינג מ-Storage Read API מוקצות למחבר ללא עלות נוספת. אם קוראים נתונים באזורים שונים, עדיין חלים חיובים רגילים על תעבורת נתונים יוצאת.
- כשבקשות מגיעות מעומסי עבודה של Apache Spark שמבוססים על אשכולות (כמו Managed Service for Apache Spark באשכולות או Apache Spark שפועל ב-Google Kubernetes Engine‏ (GKE)), חל תמחור רגיל של Storage Read API.

מחברים זמינים

אפשר להשתמש במחברים הבאים של BigQuery בסביבת Hadoop:

מחבר Spark BigQuery מוסיף מקור נתונים של Spark, שמאפשר ל-DataFrames ליצור אינטראקציה ישירות עם טבלאות BigQuery באמצעות הפעולות read ו-write של Spark.
מחבר Hive BigQuery מוסיף Storage Handler, שמאפשר ל-Apache Hive ליצור אינטראקציה ישירות עם טבלאות BigQuery באמצעות תחביר HiveQL.
המחבר של Hadoop BigQuery מאפשר לממפים ולמצמצמים של Hadoop ליצור אינטראקציה עם טבלאות BigQuery באמצעות גרסאות מופשטות של המחלקות InputFormat ו-OutputFormat.

זהירות: אין תמיכה במחבר Hadoop BigQuery ל-Hadoop MapReduce. המלצה: כדאי להשתמש במחבר Spark BigQuery כדי לשפר את הביצועים. מידע נוסף זמין במאמר בנושא שימוש במחבר BigQuery עם Spark.

שימוש במחברים

כדי להתחיל במהירות להשתמש במחבר ל-BigQuery, אפשר לעיין בדוגמאות הבאות:

המאמרים הבאים

BigQuery
פועלים לפי הדוגמה ל-BigQuery עבור Spark.
מידע נוסף על מחבר Hive BigQuery
פועלים לפי הדוגמה של BigQuery ל-Java MapReduce.