"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).

‫Google משתמשת בטכנולוגיית AI כדי לתרגם תוכן לשפה המועדפת עליך. בתרגומים כאלו עשויות להיות שגיאות.

רכיב Docker אופציונלי של Managed Service for Apache Spark

כדי להריץ קונטיינרים של Docker בצומתי האשכול של Managed Service for Apache Spark, צריך להפעיל את הרכיב האופציונלי של Docker במהלך יצירת האשכול. במאמר הזה מוסבר איך להתקין ולהגדיר את רכיב Docker ב-Managed Service for Apache Spark.

למידע נוסף על רכיבים אופציונליים אחרים שזמינים ב-Managed Service for Apache Spark, ראו רכיבים אופציונליים זמינים.

איך פועל רכיב Docker

כשמפעילים את רכיב Docker של Managed Service for Apache Spark, הוא מתקין דימון של Docker בכל צומת באשכול. בנוסף, היא מגדירה משתמש וקבוצה של Linux, שניהם בשם "docker", בכל צומת כדי להריץ את ה-daemon של Docker. בנוסף, הרכיב יוצר שירות docker‏ systemd כדי להריץ את השירות dockerd. כדאי להשתמש בשירות systemd הזה כדי לנהל את מחזור החיים של שירות Docker.

התקנת הרכיב

מתקינים את הרכיב כשיוצרים אשכול Managed Service for Apache Spark. אפשר להתקין את רכיב Docker באשכולות שנוצרו באמצעות Managed Service for Apache Spark מגרסת אימג' 1.5 ואילך.

במאמר גרסאות נתמכות של Managed Service for Apache Spark מפורטות גרסאות הרכיבים שכלולות בכל גרסת אימג' של Managed Service for Apache Spark.

מסוףGoogle Cloud

במסוף Google Cloud , פותחים את הדף Create cluster.
לוחצים על הגדרות נוספות כדי להרחיב את הקטע.
עורכים את Optional components.
בחלונית שנפתחת, מסמנים את התיבה Docker ולוחצים על Save.

‫CLI של gcloud

כדי ליצור אשכול Managed Service for Apache Spark שכולל את רכיב Docker, משתמשים בפקודה gcloud dataproc clusters create cluster-name עם הדגל --optional-components.

gcloud dataproc clusters create cluster-name \
    --optional-components=DOCKER \
    --region=region \
    --image-version=1.5 \
    ... other flags

‫API בארכיטקטורת REST

אפשר לציין את רכיב Docker דרך Dataproc API באמצעות SoftwareConfig.Component כחלק מבקשת clusters.create.

הפעלת Docker ב-YARN

כדי להשתמש בקובץ אימג' מותאם אישית של Docker עם YARN, קראו את המאמר התאמה אישית של סביבת זמן הריצה של משימת Spark באמצעות Docker ב-YARN.

רישום ביומן של Docker

כברירת מחדל, רכיב Managed Service for Apache Spark Docker כותב יומנים ב-Cloud Logging על ידי הגדרת gcplogs driver – ראו צפייה ביומנים.

Docker Registry

רכיב ה-Docker של Managed Service for Apache Spark מגדיר את Docker כך שישתמש ב-Container Registry בנוסף למאגרי Docker שמוגדרים כברירת מחדל. ‫Docker ישתמש בכלי העזר של פרטי הכניסה ל-Docker כדי לבצע אימות עם Container Registry.

שימוש ברכיב Docker באשכול Kerberos

אפשר להתקין את הרכיב האופציונלי Docker באשכול שנוצר עם אבטחת Kerberos מופעלת.