השירות המנוהל ל-Apache Spark ב-Google Kubernetes Engine (GKE) מאפשר להריץ אפליקציות Big Data באמצעות ה-API של השירות המנוהל ל-Apache Spark jobs באשכולות GKE. אתם יכולים להשתמש במסוף Google Cloud , ב-Google Cloud CLI או ב-Managed Service for Apache Spark API (בקשת HTTP או ספריות לקוח ב-Cloud) כדי ליצור אשכול וירטואלי של Managed Service for Apache Spark ב-GKE, ואז לשלוח משימת Spark, PySpark, SparkR או Spark-SQL לשירות Managed Service for Apache Spark.
Managed Service for Apache Spark ב-GKE תומך בגרסאות של Spark 3.5.
איך פועל Managed Service for Apache Spark ב-GKE
ב-Managed Service for Apache Spark ב-GKE, פורסים אשכולות וירטואליים של Managed Service for Apache Spark באשכול GKE. בניגוד לאשכולות של Managed Service for Apache Spark ב-Compute Engine, אשכולות וירטואליים של Managed Service for Apache Spark ב-GKE לא כוללים מכונות וירטואליות נפרדות של מאסטר ו-worker. במקום זאת, כשיוצרים אשכול וירטואלי של Managed Service for Apache Spark ב-GKE, השירות יוצר מאגרי צמתים בתוך אשכול GKE. המשימות של Managed Service for Apache Spark ב-GKE מופעלות כ-pods במאגרי הצמתים האלה. מאגרי הצמתים ותזמון הפודים במאגרי הצמתים מנוהלים על ידי GKE.