"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).

‫Google משתמשת בטכנולוגיית AI כדי לתרגם תוכן לשפה המועדפת עליך. בתרגומים כאלו עשויות להיות שגיאות.

מחבר BigQuery

אתם יכולים להשתמש במחבר ל-BigQuery כדי לאפשר גישה פרוגרמטית לקריאה ולכתיבה ב-BigQuery. זו דרך אידיאלית לעבד נתונים שמאוחסנים ב-BigQuery. הגישה לשורת הפקודה לא חשופה. המחבר ל-BigQuery הוא ספרייה שמאפשרת לאפליקציות של Spark ו-Hadoop לעבד נתונים מ-BigQuery ולכתוב נתונים ל-BigQuery באמצעות המונחים המקוריים שלה.

אפשר גם להשתמש ב-

תמחור

כשמשתמשים במחבר, החיובים כוללים עמלות שימוש ב-BigQuery. יכול להיות שיחולו גם החיובים הבאים, שספציפיים לשירות:

‫Cloud Storage – המחבר מוריד נתונים לקטגוריה של Cloud Storage לפני או במהלך ביצוע המשימה. אחרי שהמשימה מסתיימת, הנתונים נמחקים מ-Cloud Storage. החיוב על האחסון הזה הוא בהתאם לתמחור של Cloud Storage. כדי להימנע מחיובים מיותרים, כדאי לבדוק את החשבון ב-Cloud Storage ולהסיר קבצים זמניים שלא צריך.
‫Storage Read API – המחבר קורא נתונים מטבלאות באמצעות Storage Read API כדי להשיג תפוקה גבוהה.
- כשבקשות מגיעות מ-Managed Service for Apache Spark בלי שרת (serverless) או מפרוצדורות מאוחסנות ב-BigQuery ל-Apache Spark, עלויות הקריאה בסטרימינג של Storage Read API מועברות למחבר ללא חיוב נוסף. אם קוראים נתונים בין אזורים, עדיין חלים חיובים רגילים על תעבורת נתונים יוצאת ברשת.
- כשבקשות מגיעות מעומסי עבודה של Apache Spark שמבוססים על אשכולות (כמו Managed Service for Apache Spark באשכולות או Apache Spark שפועל ב-Google Kubernetes Engine (GKE)), חל התמחור הרגיל של Storage Read API.

מחברים זמינים

אפשר להשתמש במחברים הבאים ל-BigQuery בסביבה העסקית של Hadoop:

מחבר Spark BigQuery מוסיף מקור נתונים של Spark, שמאפשר ל-DataFrames לקיים אינטראקציה ישירות עם טבלאות ב-BigQuery באמצעות הפעולות read ו-write של Spark.
המחבר של Hive ל-BigQuery מוסיף Storage Handler, שמאפשר ל-Apache Hive לקיים אינטראקציה ישירות עם טבלאות BigQuery באמצעות תחביר HiveQL.
המחבר של Hadoop ל-BigQuery מאפשר לפונקציות map ו-reduce של Hadoop לקיים אינטראקציה עם טבלאות BigQuery באמצעות גרסאות מופשטות של המחלקות InputFormat ו-OutputFormat.

זהירות: אין תמיכה במחבר Hadoop BigQuery ל-Hadoop MapReduce. המלצה: כדי לשפר את הביצועים, השתמשו במחבר Spark BigQuery. למידע נוסף, קראו את המאמר שימוש במחבר ל-BigQuery עם Spark.

שימוש במחברים

כדי להתחיל להשתמש במהירות במחבר ל-BigQuery, אפשר להיעזר בדוגמאות הבאות:

המאמרים הבאים

BigQuery
פועלים לפי הדוגמה של BigQuery ל-Spark.
מידע נוסף על Hive BigQuery Connector
פועלים לפי הדוגמה של BigQuery ל-Java MapReduce.