סקירה כללית על Dataproc Hub

ב-Dataproc Hub אפשר להשתמש ב-Vertex AI Workbench וב-Managed Service for Apache Spark כדי להריץ משימות אינטראקטיביות של למידת מכונה (ML) ועיבוד נתונים בהיקף גדול באמצעות מחברות Jupyter והמערכת האקולוגית של Hadoop ו-Spark.

מחברות Dataproc Hub הן מחברות של משתמש יחיד, שאדמינים אוצרים אותן. הן פועלות באשכול של Managed Service for Apache Spark JupyterLab שנוצר ופועל בפרויקט של המשתמש.

  • ‫Dataproc Hub משתמש ב-JupyterHub כדי:

    • כדי לשמור על עקביות בכל הארגון, אדמינים יכולים ליצור רשימה מותאמת אישית של תבניות מחברות עבור קבוצות שונות של משתמשים שעובדים עם נתונים ולומדים מכונה.
    • להאיץ את יצירת המחברות על ידי אספקת סביבות שהוגדרו מראש למשתמשים בנתונים ולמידת מכונה, בהתאם לדרישות התוכנה והחומרה שלהם.

  • ב-Dataproc Hub יש ממשקים נפרדים לאדמינים ולמשתמשים:

    • אדמינים משתמשים בדף Dataproc→Workbench→User-Managed Notebooks במסוף Google Cloud כדי ליצור מופעים של Dataproc Hub. כל מופע של Hub מכיל קבוצה מוגדרת מראש של סביבות מחברת שמוגדרות על ידי קובצי הגדרת אשכולות ב-YAML.
    • משתמשים בנתונים וב-ML משתמשים בממשק המשתמש של Notebooks→Instances במסוףGoogle Cloud כדי לבחור סביבת מחברת מוגדרת מראש ליצירת שרת מחברת באשכול Managed Service for Apache Spark שלהם.
      • משתמשים שאין להם גישה למסוף יכולים לגשת למופע Dataproc Hub כדי ליצור אשכול של שירות מנוהל ל-Apache Spark מדפדפן האינטרנט שלהם באמצעות כתובת URL של מופע Dataproc Hub שסופקה על ידי האדמין.

  • תרחישים לדוגמה לשימוש ב-Dataproc Hub:

    • משתמשים בנתונים וב-ML מאורגנים בקבוצות עם דרישות משותפות של תוכנה וחומרה (אפשר להוסיף משתמשים לכמה קבוצות)
    • גישה מוגבלת למסוף Managed Service for Apache Spark: למשתמשים אין גישה ל-Managed Service for Apache Spark במסוף Google Cloud

  • תכונות Dataproc Hub:

    • סביבות משתמש מוגדרות מראש
    • בידוד של אשכולות ומחברות: לחברי קבוצה אין גישה קלה לאשכולות ולמחברות של חברים בקבוצות אחרות

למידע נוסף