תכונות חדשות ושיפורים
- סוגי מכונות וירטואליות גמישים: החל מגרסת התמונה
4.0, כשיוצרים אשכול בלי לציין סוג מכונה לצומת באשכול, Managed Service for Apache Spark מציין את הצומת עם רשימה מדורגת של סוגי מכונות וירטואליות גמישים, כמו רשימה מדורגת של סוגי מכונות מסדרות N4, N2 ו-E2, כשהרשימה מותאמת לזמינות המשאבים.
מגבלות
Apache Hudi: אין תמיכה ב-Apache Hudi בגרסת האימג'
4.0.מטא-נתונים עם Hive 4.2: גרסת התמונה
4.0לא תומכת ב-BigQuery Metastore, ב-BigLake Metastore או ב-Dataproc Metastore עם Hive 4.2 (אין תמיכה בשאילתות ישירות של Hive באמצעות המטא-נתונים האלה).Delta Lake עם Hive: Delta Lake
4.x, שנכלל בגרסת התמונה4.0של Managed Service for Apache Spark, לא תומך ב-Hive (אי אפשר להריץ שאילתות בטבלאות Delta Lake 4.4 ב-Hive).
הערות:
גרסאות Java: גרסת התמונה
4.0כוללת את Java 25 לעומסי עבודה של Spark. Java 21 כלולה לצורך תאימות לדורות קודמים.סינון מאפייני Iceberg Spark: באשכולות רגילים בגרסה 4.0, אם הרכיב האופציונלי
icebergלא נכלל, תוספי הסשנים של Iceberg והקטלוגים שמוגדרים כברירת מחדל מסוננים אוטומטית מ-spark-defaults.confבמהלך הפעלת האשכול.אשכולות GPU: כל גרסאות התמונה של
4.0, חוץ מ-4.0-ml-ubuntu, מפעילות אתcgroups V2. מכיוון ש-YARN לא תומך בגילוי GPU כש-cgroups V2מופעל, צריך להשתמש בתמונה4.0-ml-ubuntuכשיוצרים אשכולות עם GPUs.גרסה
4.0היא קובץ אימג' קל שמכיל רק רכיבי ליבה, וכך מפחית את החשיפה לנקודות חולשה וחשיפות נפוצות (CVE). כדי לעמוד בדרישות מחמירות יותר של תאימות אבטחה, כשיוצרים אשכול Managed Service for Apache Spark, צריך להשתמש בגרסת אימג'2.3ואילך.רכיבים אופציונליים שמותקנים מראש: הרכיבים האופציונליים הבאים מותקנים מראש בתמונות בגרסה 4.0, ומופעלים אם כוללים אותם במהלך יצירת האשכול:
- Apache Iceberg
- Delta Lake
כשיוצרים אשכול, צריך לציין את הרכיבים האופציונליים שרוצים להתקין. מידע נוסף זמין במאמר הוספת רכיבים אופציונליים.
בדוגמה הבאה מוצגת הפקודה של Google Cloud CLI ליצירת אשכול עם רכיבים אופציונליים:gcloud dataproc clusters create CLUSTER_NAME --optional-components=COMPONENT_NAME \ ... other flags
מחשבון המשאבים שמוגדר כברירת מחדל ל-YARN השתנה מ-DefaultResourceCalculator ל-DominantResourceCalculator, שמשתמש בקונספט של המשאב הדומיננטי כדי לקבוע את הקצאת המשאבים, כמו הקצאת זיכרון ו-CPU. השינוי הזה משפיע על Autoscaler, שמשנה את קנה המידה בהתאם לשימוש במשאב הדומיננטי של האשכול.