אתם בוחרים דיסק רגיל, SSD, דיסק אחסון מתמיד מאוזן או Google Cloud Hyperdisk Balanced כדיסק אתחול לצומתי אשכולות ב-Managed Service for Apache Spark.
אפשרויות לסוג דיסק האתחול:
אפשר לבחור דיסק אתחול רגיל, SSD או דיסק אחסון מתמיד מאוזן לצומתי אשכול ראשיים, primary worker ו-secondary worker.
אתם יכולים לבחור באפשרות hyperdisk balanced כדיסק האתחול של הצמתים master ו-primary worker. שימו לב שב-Managed Service for Apache Spark, סוג דיסק האתחול של ה-secondary worker מוגדר באופן אוטומטי ל-Hyperdisk Balanced כשסוג דיסק האתחול של ה-primary worker מוגדר ל-Hyperdisk Balanced.
סוג דיסק האתחול המתמיד שמוגדר כברירת מחדל לצומתי ה-primary worker ול-מאסטר אשכולות (cluster master) של אשכול Managed Service for Apache Spark הוא standard (pd-standard). אם סוג המכונה של ה-VM תומך רק ב-hyperdisk balanced כדיסק אתחול, דיסק האתחול שמוגדר כברירת מחדל הוא hyperdisk balanced (hyperdisk-balanced). סוג דיסק האתחול המתמיד שמוגדר כברירת מחדל לצומתי ה-secondary worker של האשכול הוא סוג דיסק האתחול המתמיד של צומת ה-primary worker.
בחירת סוגים של דיסקי אתחול מתמידים לצומתי אשכול
אפשר לבחור את סוג דיסק האתחול המתמיד כשיוצרים אשכול באמצעות מסוףGoogle Cloud , Google Cloud CLI או Dataproc API.
מסוףGoogle Cloud
כדי לבחור את סוגי דיסקי האתחול של צומתי האשכול:
- פותחים את הדף Create a cluster ב-Managed Service for Apache Spark.
- לוחצים על הגדרות נוספות כדי להרחיב את הקטע.
- לוחצים על Primary workers ועל Secondary workers כדי לאשר או לשנות את הגדרות ברירת המחדל.
- כברירת מחדל, ההגדרות של צומת ה-driver (הראשי) זהות להגדרות של ה-primary worker. בקטע Additional configuration, אפשר ללחוץ על Driver node כדי לבטל את הסימון של התיבה Default driver node to the same as primary worker, ואז לציין את ההגדרות של צומת הדרייבר.
CLI של gcloud
כדי ליצור אשכול ולבחור את סוגי דיסקי האתחול של צומתי האשכול, משתמשים בפקודה gcloud dataproc clusters create עם הדגלים --master-boot-disk-type, --worker-boot-disk-type ו---secondary-worker-boot-disk-type.
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --master-boot-disk-type=pd-ssd \ --worker-boot-disk-type=hyperdisk-balanced \ other args ...
API בארכיטקטורת REST
אפשר להגדיר את הערך pd-standard, pd-ssd, pd-balanced או hyperdisk-balanced בשדה InstanceGroupConfig.DiskConfig.bootDiskType ב-masterConfig, workerConfig ו-secondaryWorkerConfig כחלק מבקשת API של cluster.create.
הגדרות Hyperdisk
כשיוצרים אשכול עם נפח Hyperdisk Balanced כדיסק האתחול של צומת באשכול Managed Service for Apache Spark, אפשר להגדיר את ה-IOPS והתפוקה שהוקצו.
המסוף
כדי להגדיר את ה-IOPS וה-Throughput שהוקצו:
- פותחים את הדף Create a cluster ב-Managed Service for Apache Spark.
- לוחצים על הגדרות נוספות כדי להרחיב את הקטע.
- לוחצים על צומת דרייבר או על Primary workers.
- בחלונית שנפתחת, קובעים את ההגדרות של IOPS ותפוקה שהוקצו, ואז לוחצים על Save.
CLI של gcloud
אתם יכולים להגדיר את קצב ה-IOPS ואת הקצאת המשאבים לפי התפוקה שנקבעה לצומתי אשכול עם דיסקי אתחול מסוג Hyperdisk Balanced, באמצעות הדגלים --master-boot-disk-provisioned-iops, --worker-boot-disk-provisioned-iops, --master-boot-disk-provisioned-throughput ו---worker-boot-disk-provisioned-throughput של הפקודה gcloud dataproc clusters create.
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --master-boot-disk-type=hyperdisk-balanced \ --master-boot-disk-provisioned-iops=MASTER_BOOT_DISK_IOPS \ --master-boot-disk-provisioned-throughput=MASTER_BOOT_DISK_THROUGHPUT \ --worker-boot-disk-type=hyperdisk-balanced \ --worker-boot-disk-provisioned-iops=WORKER_BOOT_DISK_IOPS \ --worker-boot-disk-provisioned-throughput=WORKER_BOOT_DISK_THROUGHPUT \ other args ...
API בארכיטקטורת REST
אפשר להגדיר את קצב ה-IOPS ואת קצב העברת הנתונים שהוקצו לצומתי אשכול עם דיסקי אתחול מסוג Hyperdisk באמצעות השדות InstanceGroupConfig.DiskConfig.bootDiskProvisionedIops ו-InstanceGroupConfig.DiskConfig.bootDiskProvisionedThroughput בהגדרות של הצומת הראשי וצומת ה-worker.