"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).

‫Google משתמשת בטכנולוגיית AI כדי לתרגם תוכן לשפה המועדפת עליך. בתרגומים כאלו עשויות להיות שגיאות.

מטא-נתונים של אשכול

‫Managed Service for Apache Spark מגדיר ערכים מיוחדים של מטא-נתונים למופעים שפועלים באשכול:

מפתח מטא-נתונים	ערך
`dataproc-bucket`	השם של קטגוריית הביניים של האשכול
`dataproc-region`	האזור של נקודת הקצה של האשכול
`dataproc-worker-count`	מספר צמתי העובדים באשכול. הערך הוא `0` עבור אשכולות עם צומת יחיד.
`dataproc-cluster-name`	שם האשכול
`dataproc-cluster-uuid`	מזהה ייחודי אוניברסלי (UUID) של האשכול
`dataproc-role`	התפקיד של המופע, `Master` או `Worker`
`dataproc-master`	שם המארח של צומת הראשי הראשון. הערך הוא `[CLUSTER_NAME]-m` באשכול רגיל או באשכול עם צומת יחיד, או `[CLUSTER_NAME]-m-0` באשכול עם זמינות גבוהה, כאשר `[CLUSTER_NAME]` הוא שם האשכול.
`dataproc-master-additional`	רשימה מופרדת בפסיקים של שמות מארחים לצמתים ראשיים נוספים באשכול עם זמינות גבוהה, לדוגמה, `[CLUSTER_NAME]-m-1,[CLUSTER_NAME]-m-2` באשכול עם 3 צמתים ראשיים.
`SPARK_BQ_CONNECTOR_VERSION or SPARK_BQ_CONNECTOR_URL`	הגרסה או כתובת ה-URL שמפנה לגרסה של מחבר Spark BigQuery לשימוש באפליקציות Spark, למשל, `0.42.1` או `gs://spark-lib/bigquery/spark-3.5-bigquery-0.42.1.jar`. גרסת ברירת מחדל של מחבר Spark BigQuery מותקנת מראש באשכולות של Managed Service for Apache Spark `2.1` ובגרסאות מאוחרות יותר של תמונות. מידע נוסף זמין במאמר בנושא שימוש במחבר Spark BigQuery.

אפשר להשתמש בערכים האלה כדי להתאים אישית את ההתנהגות של פעולות ההפעלה.

אפשר להשתמש בדגל --metadata בפקודה gcloud dataproc clusters create כדי לספק מטא-נתונים משלכם:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --metadata=name1=value1,name2=value2... \
    ... other flags ...

מטא-נתונים של אשכול קל לארגן דפים בעזרת אוספים אפשר לשמור ולסווג תוכן על סמך ההעדפות שלך.

מטא-נתונים של אשכול