כדי להוסיף לדיסק האתחול, אתם יכולים לצרף כונני Solid State מקומיים (SSD מקומיים) לצומת ה-master, לצומת ה-primary worker ולצומת ה-secondary worker באשכול. כשמספקים לאשכול כונני SSD מקומיים, גם HDFS וגם נתוני טיוטה, כמו פלטים של מיון נתונים (shuffle), משתמשים בכונני ה-SSD המקומיים במקום בדיסק אחסון מתמיד (persistent disk) לאתחול.
- אחסוני SSD מקומיים יכולים לספק זמני קריאה וכתיבה מהירים יותר מדיסק אחסון מתמיד (persistent disk) (ראו ביצועי SSD מקומי).
- הגודל של כל כונן SSD מקומי הוא 375GB, אבל אפשר לחבר כמה כונני SSD מקומיים כדי להגדיל את נפח האחסון (מידע נוסף זמין במאמר מידע על כונני SSD מקומיים).
- כל כונן SSD מקומי מותקן ב-
/mnt/<id>בצומתי האשכול של Managed Service for Apache Spark. - כונני SSD מקומיים משתמשים ב-
ext4כמערכת הקבצים שמוגדרת כברירת מחדל.
שימוש ב-SSD מקומיים
מסוףGoogle Cloud
יוצרים אשכול ומצרפים כונני SSD מקומיים לצמתים:
- פותחים את הדף Create cluster ב-Managed Service for Apache Spark.
- לוחצים על הגדרות נוספות כדי להרחיב את הקטע.
- עורכים את Primary workers ואת Secondary workers כדי לקבוע את הגדרות ה-SSD המקומי.
- כברירת מחדל, ההגדרות של צומת ה-driver (הראשי) זהות להגדרות של ה-primary worker. בקטע Additional configuration, אפשר ללחוץ על Driver node כדי לבטל את הסימון של התיבה Default driver node to the same as primary worker, ואז לציין את ההגדרות של צומת הדרייבר.
פקודת ה-CLI של gcloud
משתמשים בפקודה gcloud dataproc clusters create עם הדגלים --num-master-local-ssds, --num-workers-local-ssds ו---num-secondary-worker-local-ssds כדי לחבר כונני SSD מקומיים לצומת הראשי, לצומת העובד הראשי ולצומת העובד המשני של האשכול.
אפשר לחבר כונני SSD מקומיים למכונות וירטואליות של Managed Service for Apache Spark באמצעות ממשק SCSI (ממשק מערכת מחשב קטן) או NVME (ממשק זיכרון לא נדיף) (ראו ביצועים של כונני SSD מקומיים).
ממשק ברירת המחדל של ה-SSD המקומי של ה-VM באשכול של Managed Service for Apache Spark הוא ממשק SCSI. מריצים את הפקודה gcloud dataproc clusters create עם הדגלים --master-local-ssd-interface, --worker-local-ssd-interface ו---secondary-worker-local-ssd-interface כדי לציין את ממשק ה-SSD המקומי לצומת הראשי, לצומת העובד הראשי ולצומת העובד המשני.
לדוגמה:
gcloud dataproc clusters create cluster-name \ --region=region \ --num-master-local-ssds=1 \ --num-worker-local-ssds=1 \ --num-secondary-worker-local-ssds=1 \ --master-local-ssd-interface=NVME \ --worker-local-ssd-interface=NVME \ --secondary-worker-local-ssd-interface=NVME \ ... other args ...
API בארכיטקטורת REST
מגדירים את השדה numLocalSsds ב-masterConfig, ב-workerConfig וב-secondaryWorkerConfig InstanceGroupConfig בבקשת API מסוג cluster.create כדי לחבר כונני SSD מקומיים לצומת הראשי, לצומת ה-primary worker ולצומת ה-secondary worker של האשכול.
אפשר לחבר כונני SSD מקומיים למכונות הווירטואליות של Managed Service for Apache Spark באמצעות ממשק SCSI (ממשק מערכת מחשב קטן) או NVME (ממשק זיכרון לא נדיף) (ראו ביצועים של כונני SSD מקומיים).
ממשק ברירת המחדל של ה-SSD המקומי של ה-VM באשכול של Managed Service for Apache Spark הוא ממשק SCSI. מגדירים את השדה localSsdInterface ב-masterConfig, ב-workerConfig וב-secondaryWorkerConfig של InstanceGroupConfig בבקשת API מסוג cluster.create, כדי לציין את הממשק SCSI או NVME לחיבור כונני SSD מקומיים לצומת הראשי, לצומת ה-worker הראשי ולצומת ה-worker המשני של האשכול.