יצירת סשנים אינטראקטיביים ותבניות לסשנים

בדף הזה מוסבר איך ליצור סשנים אינטראקטיביים ותבניות סשנים ב-Managed Service for Apache Spark. אפשר להשתמש בתבנית של סשן כדי ליצור כמה סשנים אינטראקטיביים על סמך ההגדרה של תבנית הסשן.

הערה: סשנים אינטראקטיביים של Managed Service for Apache Spark משויכים לנוטבוקים אינטראקטיביים. דוגמה לשימוש בסשן עם מחברות Jupyter מופיעה במאמר שימוש בתוסף Managed Service for Apache Spark JupyterLab לסשנים אינטראקטיביים של מחברות ולסשנים של עיבוד ברצף (batch) בלי שרת. דוגמאות לשימוש בסשנים ב-notebooks של BigQuery Studio מופיעות במאמר הרצת קוד PySpark ב-notebooks של BigQuery Studio.

יצירת סשן אינטראקטיבי

אתם יכולים להשתמש ב-Google Cloud CLI או ב-Managed Service for Apache Spark API כדי ליצור סשן אינטראקטיבי של Managed Service for Apache Spark.

gcloud

אפשר להשתמש ב-gcloud beta dataproc sessions create command SESSION_NAME כדי ליצור סשן אינטראקטיבי של Managed Service for Apache Spark.

gcloud beta dataproc sessions create spark SESSION_ID \
    --location=REGION \
    optional flags ...

מחליפים או מוסיפים את הפרטים הבאים:

• ‫SESSION_ID: שדה חובה. מזהה של הסשן.

• ‫REGION: שדה חובה. אזור זמין למיקום הסשן.

• ‫--version: אופציונלי. גרסת זמן ריצה של Spark נתמכת. אם לא משתמשים בדגל הזה כדי לציין גרסה, המערכת משתמשת בגרסת ברירת המחדל הנוכחית של זמן הריצה של Spark.

• ‫--container-image: אופציונלי. קובץ אימג' מותאם אישית של קונטיינר לשימוש בסשן.

• ‫--property: אופציונלי. מאפייני Spark אחד או יותר שמופרדים בפסיקים לסשן.

• ‫--service-account: אופציונלי. חשבון השירות שבו רוצים להשתמש בסשן. אם לא מציינים חשבון שירות, המערכת משתמשת בחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine.

• ‫--subnet: אופציונלי. השם של רשת משנה באזור של הסשן. אם לא מציינים רשת משנה, Managed Service for Apache Spark משתמש ברשת המשנה default באזור של הסשן. ב-Managed Service for Apache Spark מופעלת גישה פרטית ל-Google‏ (PGA) ברשת המשנה. למידע על דרישות הקישוריות לרשת, אפשר לעיין במאמר בנושא הגדרת הרשת של Managed Service for Apache Spark.

REST

אתם יכולים להשתמש ב-API של Managed Service for Apache Spark‏ sessions.create כדי ליצור סשן אינטראקטיבי של Managed Service for Apache Spark.

הערות:

• ‫name: שדה חובה. שם הסשן.

• ‫version: אופציונלי. כל אחת מגרסאות זמן הריצה של Spark שנתמכות בסשן שלכם. אם לא מציינים גרסה, המערכת משתמשת בגרסת ברירת המחדל הנוכחית.

• ‫containerImage: אופציונלי. קובץ אימג' מותאם אישית של קונטיינר לשימוש בסשן.

• ‫properties: אופציונלי. מיפוי של שמות מאפייני הסשן לערכים. מאפייני Spark

• ‫serviceAccount: אופציונלי. חשבון השירות שבו רוצים להשתמש כדי להריץ את הסשן. אם לא מציינים חשבון שירות, המערכת משתמשת בחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine.

• ‫subnetworkUri: אופציונלי. השם של רשת משנה באזור של הסשן. אם לא מציינים רשת משנה, Managed Service for Apache Spark משתמש ברשת המשנה default באזור של הסשן. ב-Managed Service for Apache Spark מופעלת גישה פרטית ל-Google‏ (PGA) ברשת המשנה. למידע על דרישות הקישוריות לרשת, אפשר לעיין במאמר בנושא הגדרת הרשת של Managed Service for Apache Spark.

יצירת תבנית סשן

תבנית של סשן ב-Managed Service for Apache Spark מגדירה את הגדרות התצורה ליצירה של סשן אינטראקטיבי אחד או יותר ב-Managed Service for Apache Spark. אפשר להשתמש במסוף Google Cloud , ב-CLI של gcloud או ב-API של Managed Service for Apache Spark כדי ליצור תבנית של סשן Managed Service for Apache Spark עבור סשן Jupyter או Spark Connect.

הערה: אפשר ליצור סשן ב-Notebook של BigQuery Studio מתבנית של סשן ב-Managed Service for Apache Spark. בקטע הזה מוסבר איך להגדיר את התבנית כדי להשתמש בה ב-Notebook של BigQuery Studio.

המסוף

כדי ליצור תבנית של סשן ב-Managed Service for Apache Spark באמצעות Google Cloud המסוף:

1. נכנסים לדף Session Templates במסוף Google Cloud .

   מעבר אל Session Templates

   1. לוחצים על יצירה.

2. בדף Create session template, מזינים או מאשרים את הגדרות התבנית. שימו לב לנקודות הבאות:

   • מזהה זמן הריצה של התבנית: חובה. מאשרים את מזהה ברירת המחדל (השם) או מציינים שם זמן ריצה של תבנית.
   • אזור: חובה. מאשרים את האזור שמוגדר כברירת מחדל או מציינים אזור זמין עבור הפעלות של תבניות.
   • גרסת זמן ריצה: אופציונלי. זמני הריצה של הסשנים שניתן לבחור תואמים לגרסאות זמן הריצה של Managed Service for Apache Spark.
     • דרישה לגבי סשן של מחברת BigQuery Studio: אם אתם יוצרים תבנית לשימוש בסשנים של Spark Connect במחברת BigQuery Studio, התבנית צריכה להשתמש בגרסה 2.3 ואילך של Spark runtime.
   • סוג הגדרת התבנית: חובה. בוחרים סוג. אם בוחרים באפשרות Jupyter, מציינים את השם המוצג ובוחרים את סוג ליבת Jupyter. מומלץ לעיין גם במאמר הפעלת מחברת Jupyter ב-Managed Service for Apache Spark.
     • דרישה להפעלת מחברת ב-BigQuery Studio: בהפעלת מחברת ב-BigQuery Studio צריך לציין את Spark Connect כסוג ההגדרה של התבנית.
   • חשבון שירות: אופציונלי. חשבון השירות שבו רוצים להשתמש כדי להריץ הפעלות של תבניות. אם לא מציינים חשבון שירות, המערכת משתמשת בחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine.
   • קובץ אימג' של קונטיינר מותאם אישית: אופציונלי. קובץ אימג' של קונטיינר מותאם אישית לשימוש בסשנים מבוססי-תבניות.
   • מאפיינים: אופציונלי. לוחצים על הוספת פריט לכל נכס שרוצים להגדיר עבור הפעלות שמבוססות על תבנית. מידע נוסף זמין במאמר בנושא מאפייני Spark.
   • הגדרת רשת: * חובה. בוחרים רשת משנה באזור של הסשן. ‫Managed Service for Apache Spark מאפשר גישה פרטית ל-Google (PGA) ברשת המשנה שצוינה. למידע על דרישות הקישוריות לרשת, אפשר לעיין במאמר בנושא הגדרת הרשת של Managed Service for Apache Spark.

3. לוחצים על שליחה כדי ליצור את תבנית הסשן.

gcloud

אי אפשר ליצור ישירות תבנית של סשן ב-Managed Service for Apache Spark באמצעות ה-CLI של gcloud, אבל אפשר להשתמש בפקודה gcloud beta dataproc session-templates import כדי לייבא תבנית קיימת של סשן. אפשר לערוך את התבנית המיובאת ואז לייצא אותה באמצעות הפקודה gcloud beta dataproc session-templates export.

REST

אתם יכולים להשתמש ב-API של Managed Service for Apache Spark‏ sessionTemplates.create כדי ליצור תבנית של סשן Managed Service for Apache Spark.

הערות:

• ‫name: שדה חובה. שם תבנית הסשן.

• ‫version: אופציונלי. כל אחת מגרסאות זמן הריצה של Spark שנתמכות בסשנים מבוססי-תבניות. אם לא מציינים גרסה, המערכת משתמשת בגרסת ברירת המחדל.

  • דרישה לגבי סשן של מחברת BigQuery Studio: אם אתם יוצרים תבנית לשימוש בסשנים של Spark Connect במחברת BigQuery Studio, התבנית צריכה להשתמש בגרסה 2.3 ואילך של Spark runtime.

• ‫sessionConfig: מציינים jupyter_session או spark_connect_session. אם מציינים את jupyter_session, צריך לציין גם את JupyterConfig.display_name ואת JupyterConfig.kernel. מומלץ לעיין גם במאמר הפעלת מחברת Jupyter ב-Managed Service for Apache Spark.

  • דרישה להפעלת מחברת ב-BigQuery Studio: בהפעלת מחברת ב-BigQuery Studio צריך לציין את Spark Connect כסוג ההגדרה של התבנית.

• ‫containerImage: אופציונלי. קובץ אימג' של קונטיינר בהתאמה אישית לשימוש בסשנים מבוססי-תבניות.

• ‫properties: אופציונלי. מיפוי של שמות מאפייני הסשן לערכים. מאפייני Spark

• ‫serviceAccount: אופציונלי. חשבון שירות שמשמש להפעלת הפעלות מבוססות תבניות. אם לא מציינים חשבון שירות, המערכת משתמשת בחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine.

• ‫subnetworkUri: אופציונלי. השם של רשת משנה באזור של הסשן. אם לא מציינים רשת משנה, Managed Service for Apache Spark משתמש ברשת המשנה default באזור של הסשן. ב-Managed Service for Apache Spark מופעלת גישה פרטית ל-Google‏ (PGA) ברשת המשנה. למידע על דרישות הקישוריות לרשת, אפשר לעיין במאמר בנושא הגדרת הרשת של Managed Service for Apache Spark.