בדף הזה מוסבר איך לטעון קטגוריה של Cloud Storage כנפח אחסון, באמצעות טעינת נפחי אחסון ב-Cloud Run.
כשמגדירים את הקטגוריה כנפח אחסון ב-Cloud Run, התוכן של הקטגוריה מוצג כקבצים במערכת הקבצים של הקונטיינר. אחרי שאתם טוענים את הקטגוריה כנפח אחסון, אתם יכולים לגשת אליה כאילו היא ספרייה במערכת הקבצים המקומית, באמצעות פעולות וספריות של מערכת הקבצים של שפת התכנות שלכם, במקום להשתמש בספריות הלקוח של Google API.
אפשר לטעון את אמצעי האחסון במצב קריאה בלבד, וגם לציין אפשרויות טעינה לאמצעי האחסון.
דרישות הזיכרון
בטעינת נפחים של Cloud Storage, נעשה שימוש בזיכרון של מאגר הנתונים ב-Cloud Run לפעילויות הבאות:כברירת מחדל, בכל השמירה במטמון של Cloud Storage FUSE, Cloud Run משתמש בהגדרה של שמירת נתוני stat במטמון עם זמן חיים (TTL) של 60 שניות. גודל ברירת המחדל המקסימלי של מטמון הנתונים הסטטיסטיים הוא 32MB, וגודל ברירת המחדל המקסימלי של מטמון הסוגים הוא 4MiB.
כשקוראים מ-Cloud Storage, Cloud Storage FUSE מבצע קריאות ל-API כדי לקרוא אובייקט ישירות, בלי להוריד את הקובץ כולו לספרייה מקומית. Cloud Storage FUSE יוצר חיבור TCP וקורא את כל האובייקט של Cloud Storage, או רק חלקים מהקובץ שציינתם באפליקציה או במערכת ההפעלה באמצעות היסט. בזמן הקריאה, Cloud Storage FUSE צורך גם זיכרון אחר, מלבד המטמון של stat ו-type, כמו מערך של 1MiB לכל קובץ שהוא קורא, ול-
goroutines.כברירת מחדל, כשכותבים ב-Cloud Storage, Cloud Storage FUSE תומך ב-
streaming-writes, נתיב כתיבה. Cloud Storage FUSE מעלה נתונים ישירות ל-Cloud Storage בלי להעביר את הקובץ במלואו למערך הנתונים הזמני. כל קובץ שפותחים לכתיבה בסטרימינג צורך כ-64MiB זיכרון במהלך תהליך ההעלאה. כך אפשר להפחית את זמן האחזור ואת השימוש במקום בכונן, וזה שימושי במיוחד לכתיבה רציפה של נתונים גדולים.
מגבלות
מכיוון ש-Cloud Run משתמש ב-Cloud Storage FUSE כדי לטעון את נפח האחסון הזה, חשוב לזכור כמה דברים כשמבצעים טעינה של קטגוריה של Cloud Storage כנפח אחסון:
- ב-Cloud Storage FUSE אין בקרת בו-זמניות על פעולות כתיבה מרובות (נעילת קבצים) באותו קובץ. כשמספר אנשים מנסים להחליף קובץ, פעולת הכתיבה האחרונה היא הקובעת וכל התוכן הקודם נמחק.
- Cloud Storage FUSE היא לא מערכת קבצים שתואמת באופן מלא ל-POSIX. פרטים נוספים זמינים במאמרי העזרה של Cloud Storage FUSE.
נתיבים אסורים
ב-Cloud Run אי אפשר לטעון ווליום ב-/dev, ב-/proc או ב-/sys, או בספריות המשנה שלהם.
לפני שמתחילים
אתם צריכים קטגוריה של Cloud Storage כדי לטעון אותה בתור אמצעי אחסון.
כדי להשיג ביצועים אופטימליים של קריאה וכתיבה ב-Cloud Storage, קראו את המאמר אופטימיזציה של ביצועי רוחב הפס ברשת של Cloud Storage FUSE.
התפקידים הנדרשים
כדי לקבל את ההרשאות שדרושות להגדרת נקודות טעינה של נפחי אחסון ב-Cloud Storage, בקשו מהאדמין להקצות לכם את התפקידים הבאים ב-IAM:
- מפתח ב-Cloud Run (
roles/run.developer) במאגר ה-workers של Cloud Run - משתמש בחשבון שירות (
roles/iam.serviceAccountUser) בזהות השירות
כדי לקבל את ההרשאות שנדרשות לזהות השירות כדי לגשת לקובץ ולקטגוריה של Cloud Storage, צריך לבקש מהאדמין להקצות לזהות השירות את התפקיד צפייה באובייקט אחסון (roles/storage.objectViewer). אם זהות השירות צריכה גם לבצע פעולות כתיבה בקטגוריה, צריך להקצות לה את התפקיד Storage Object User (roles/storage.objectUser).
למידע נוסף על תפקידים והרשאות ב-Cloud Storage, קראו את המאמר IAM ל-Cloud Storage.
רשימה של תפקידים והרשאות ב-IAM שמשויכים ל-Cloud Run מופיעה במאמרים תפקידי IAM ב-Cloud Run והרשאות IAM ב-Cloud Run. אם מאגר ה-Workers של Cloud Run מתממשק עם ממשקי API שלGoogle Cloud , כמו ספריות הלקוח ב-Cloud, עיינו במדריך להגדרת זהות השירות. למידע נוסף על הקצאת תפקידים, קראו את המאמרים בנושא הרשאות פריסה וניהול הגישה.
טעינת נפח אחסון ב-Cloud Storage
אפשר לטעון כמה קטגוריות בנתיבי טעינה שונים. אפשר גם לטעון אמצעי אחסון ליותר ממארז אחד, באמצעות נתיבי טעינה זהים או שונים במארזים.אם אתם משתמשים בכמה קונטיינרים, קודם צריך לציין את אמצעי האחסון ואז את נקודות הגישה לאמצעי האחסון של כל קונטיינר.
אפשר להגדיר נפח של Cloud Storage למאגר של Cloud Run worker באמצעות מסוף Google Cloud , Google Cloud CLI, YAML או Terraform:
המסוף
נכנסים לדף Cloud Run במסוף Google Cloud :
בתפריט הניווט של Cloud Run, לוחצים על Worker pools:
אם אתם מגדירים מאגר וורקרים קיים, לוחצים על מאגר הוורקרים ואז על Edit and deploy new revision.
אם אתם מגדירים מאגר וורקרים חדש, לוחצים על Deploy container ואז ממלאים את הדף הראשוני של מאגר הוורקרים. לאחר מכן לוחצים על Containers, Networking, Security כדי להרחיב את דף ההגדרות של מאגרי ה-workers.
לוחצים על הכרטיסייה כרכים.
לוחצים על Mount volume.
בוחרים באפשרות קטגוריה של Cloud Storage בתור סוג האחסון.
כדי להגדיר את עוצמת הקול:
- בשדה Mount path, מזינים את הנתיב שבו רוצים לטעון את אמצעי האחסון.
- מחפשים ובוחרים את הקטגוריה של Cloud Storage או ספרייה ספציפית בתוך קטגוריה שתשמש לנפח האחסון. אם רוצים, יוצרים קטגוריה חדשה.
- אם רוצים שהקטגוריה תהיה לקריאה בלבד, מסמנים את התיבה Read-only.
- אופציונלי: מרחיבים את הקטע Mount options כדי לציין אפשרויות טעינה.
- לוחצים על Save.
לוחצים על Create או על Deploy.
gcloud
כדי להוסיף נקודת טעינה של אמצעי אחסון:
gcloud run worker-pools update WORKER_POOL \ --add-volume mount-path=MOUNT_PATH,type=cloud-storage,bucket=BUCKET_NAME,readonly=READ_ONLY
מחליפים את מה שכתוב בשדות הבאים:
- WORKER_POOL: השם של מאגר ה-workers.
- MOUNT_PATH: הנתיב היחסי שבו אתם טוענים את אמצעי האחסון, לדוגמה
/mnt/my-volume. - BUCKET_NAME: שם הקטגוריה של Cloud Storage.
- READ_ONLY: הערך
trueכדי להגדיר את אמצעי האחסון לקריאה בלבד, או הערךfalseכדי לאפשר כתיבה.
אם אתם משתמשים בכמה קונטיינרים, קודם צריך לציין את אמצעי האחסון ואז לציין את נקודות ה-mount של אמצעי האחסון לכל קונטיינר:
gcloud run worker-pools update WORKER_POOL \ --add-volume name=VOLUME_NAME,type=cloud-storage,bucket=BUCKET_NAME \ --container=CONTAINER_1 \ --add-volume-mount volume=VOLUME_NAME,mount-path=MOUNT_PATH \ --container=CONTAINER_2 \ --add-volume-mount volume=VOLUME_NAME,mount-path=MOUNT_PATH2
YAML
אם אתם יוצרים מאגר חדש של Worker, דלגו על השלב הזה. אם אתם מעדכנים מאגר קיים של Worker, הורידו את הגדרת ה-YAML שלו:
gcloud run worker-pools describe WORKER_POOL --format export > worker-pool.yaml
הדוגמה הבאה מכילה את הגדרת ה-YAML:
apiVersion: run.googleapis.com/v1 kind: WorkerPool metadata: name: WORKER_POOL spec: template: spec: containers: image: IMAGE_URL volumeMounts: - name:
mountPath: MOUNT_PATH volumes: - name: VOLUME_NAME csi: driver: gcsfuse.run.googleapis.com readOnly: IS_READ_ONLY volumeAttributes: bucketName: BUCKET_NAME מחליפים את מה שכתוב בשדות הבאים:
- WORKER_POOL: השם של מאגר ה-workers ב-Cloud Run.
-
IMAGE_URL: הפניה לקובץ האימג' של הקונטיינר שמכיל את מאגר ה-Workers, למשלus-docker.pkg.dev/cloudrun/container/worker-pool:latest - MOUNT_PATH: הנתיב היחסי שבו אתם טוענים את אמצעי האחסון, לדוגמה
/mnt/my-volume. - VOLUME_NAME: השם שרוצים לתת לנפח האחסון. הערך של VOLUME_NAME משמש למיפוי של אמצעי האחסון לנקודת הטעינה של אמצעי האחסון.
- IS_READ_ONLY: הערך
Trueכדי להגדיר את אמצעי האחסון לקריאה בלבד, או הערךFalseכדי לאפשר כתיבה. - BUCKET_NAME: השם של הקטגוריה ב-Cloud Storage.
יוצרים או מעדכנים את מאגר ה-workers באמצעות הפקודה הבאה:
gcloud run worker-pools replace worker-pool.yaml
כברירת מחדל, הפקודה
gcloud run worker-pools replaceמשתמשת בקובץworker-pool.yamlאם הוא קיים.
Terraform
כדי ללמוד איך להחיל הגדרות ב-Terraform או להסיר אותן, ראו פקודות בסיסיות ב-Terraform.
resource "google_cloud_run_v2_worker_pool" "default" {
name = "WORKER_POOL"
location = "REGION"
template {
containers {
image = "IMAGE_URL"
volume_mounts {
name = "VOLUME_NAME"
mount_path = "MOUNT_PATH"
}
}
volumes {
name = "VOLUME_NAME"
gcs {
bucket = google_storage_bucket.default.name
read_only = IS_READ_ONLY
}
}
}
}
resource "google_storage_bucket" "default" {
name = "BUCKET_NAME"
location = "REGION"
}
מחליפים את מה שכתוב בשדות הבאים:
- WORKER_POOL: השם של מאגר ה-workers.
- REGION: האזור של Google Cloud .
-
IMAGE_URL: הפניה לקובץ האימג' של הקונטיינר שמכיל את מאגר ה-Workers, למשלus-docker.pkg.dev/cloudrun/container/worker-pool:latest. - VOLUME_NAME: השם שרוצים לתת לנפח האחסון. הערך של VOLUME_NAME משמש למיפוי של אמצעי האחסון לנקודת הטעינה של אמצעי האחסון.
- MOUNT_PATH: הנתיב היחסי שבו אתם טוענים את אמצעי האחסון, לדוגמה
/mnt/my-volume. - IS_READ_ONLY: הערך
Trueכדי להגדיר את אמצעי האחסון לקריאה בלבד, או הערךFalseכדי לאפשר כתיבה. - BUCKET_NAME: השם של הקטגוריה ב-Cloud Storage.
הצגת ההגדרות של משתני הסביבה של מאגר ה-workers
נכנסים ל-Cloud Run במסוף Google Cloud :
לוחצים על Worker pools כדי להציג את רשימת מאגרי ה-Workers שנפרסו.
לוחצים על מאגר ה-Workers שרוצים לבדוק כדי להציג את חלונית הפרטים שלו.
לוחצים על הכרטיסייה Containers כדי להציג את הגדרות מאגר מארחי ה-Worker.
קריאה וכתיבה של אמצעי אחסון
אם אתם משתמשים בתכונה של טעינת נפח אחסון ב-Cloud Run, אתם ניגשים לנפח האחסון שנטען באמצעות אותן ספריות בשפת התכנות שבה אתם משתמשים כדי לקרוא ולכתוב קבצים במערכת הקבצים המקומית.
האפשרות הזו שימושית במיוחד אם אתם משתמשים בקונטיינר קיים שמצפה שהנתונים יאוחסנו במערכת הקבצים המקומית, ומשתמש בפעולות רגילות של מערכת הקבצים כדי לגשת אליהם.
קטעי הקוד הבאים מבוססים על ההנחה ש-mountPath מוגדר ל-/mnt/my-volume.
Nodejs
משתמשים במודול File System כדי ליצור קובץ חדש או להוסיף קובץ קיים בנפח האחסון /mnt/my-volume:
var fs = require('fs');
fs.appendFileSync('/mnt/my-volume/sample-logfile.txt', 'Hello logs!', { flag: 'a+' });Python
כתיבה בקובץ ששמור באמצעי האחסון, /mnt/my-volume:
f = open("/mnt/my-volume/sample-logfile.txt", "a")המשך
משתמשים בחבילה os כדי ליצור קובץ חדש שנשמר בנפח האחסון, /mnt/my-volume:
f, err := os.Create("/mnt/my-volume/sample-logfile.txt")Java
משתמשים במחלקה Java.io.File כדי ליצור קובץ יומן בנפח האחסון /mnt/my-volume:
import java.io.File;
File f = new File("/mnt/my-volume/sample-logfile.txt");הגדרת אמצעי אחסון באמצעות אפשרויות טעינה
אתם יכולים להשתמש באפשרויות טעינה כדי להגדיר מאפיינים שונים של טעינת הנפח. אפשרויות הטעינה הזמינות מאפשרות לקבוע את הגדרות המטמון, לטעון ספרייה ספציפית, להפעיל רישום ביומן של ניפוי באגים ועוד.
ציון אפשרויות טעינה
אפשר לציין אפשרויות טעינה באמצעות מסוף Google Cloud , Google Cloud CLI, YAML או Terraform. אפשרויות הטעינה מופרדות בנקודה ופסיק (;) ב-Google Cloud CLI, ומופרדות בפסיקים ב-YAML, כמו שמוצג בכרטיסיות הבאות:
המסוף
כדי לציין אפשרויות טעינה לאחסון קיים:
במסוף Google Cloud , נכנסים לדף Worker pools ב-Cloud Run:
לוחצים על מאגר ה-Workers ואז על Edit and deploy new revision.
לוחצים על הכרטיסייה כרכים.
- לוחצים על Edit volume mount.
- מרחיבים את Mount options.
- מגדירים את אפשרויות הטעינה על ידי עדכון השדות המתאימים או על ידי הוספה של אפשרויות טעינה באופן ידני.
- לוחצים על Save.
לוחצים על Deploy.
gcloud
כדי להוסיף נפח אחסון ולטעון אותו עם אפשרויות טעינה:
gcloud run worker-pools update WORKER_POOL \ --add-volume mount-path=MOUNT_PATH,type=cloud-storage,bucket=BUCKET_NAME,readonly=READ_ONLY,mount-options="OPTION_1=VALUE_1;OPTION_N=VALUE_N"
מחליפים את מה שכתוב בשדות הבאים:
- WORKER_POOL: השם של מאגר ה-workers.
- MOUNT_PATH: הנתיב היחסי שבו אתם טוענים את אמצעי האחסון, לדוגמה
/cache. - BUCKET_NAME: שם הקטגוריה של Cloud Storage.
- OPTION_1: אפשרות הטעינה הראשונה. אפשר לציין כמה אפשרויות טעינה שרוצים, כשכל אפשרות טעינה וזוג ערכים מופרדים באמצעות נקודה-פסיק.
- VALUE_1: ההגדרה הרצויה לאפשרות הטעינה הראשונה.
- OPTION_N: אפשרות הטעינה הבאה.
- VALUE_N: ההגדרה של אפשרות הטעינה הבאה.
אפשרויות טעינה נפוצות
אפשרויות הטעינה משמשות בדרך כלל כדי:
- קביעת הגדרות המטמון
- טעינה של ספרייה ספציפית בלבד מהקטגוריה של Cloud Storage
- הגדרת הבעלות על הכרך (
uid,gid) - השבתת ספריות משתמעות
- מציינים את רמות יומן ניפוי הבאגים.
קביעת הגדרות לשמירה במטמון
כדי לשנות את הגדרות השמירה במטמון של אמצעי האחסון, מגדירים את אפשרויות הטעינה שקשורות לשמירה במטמון. בטבלה הבאה מפורטות ההגדרות וערכי ברירת המחדל של Cloud Run:
| הגדרת המטמון | תיאור | ברירת מחדל |
|---|---|---|
cache-dir |
שם הנפח בזיכרון שישמש כספרייה הבסיסית לשמירת קבצים מהקטגוריה של Cloud Storage, בפורמט cr-volume:{volume name}. לדוגמה, אם יש לכם נפח בזיכרון בשם in-memory-1 שאתם רוצים להשתמש בו כספריית המטמון, ציינו את cr-volume:in-memory-1. הוראות להגדרת אמצעי אחסון בזיכרון זמינות במאמר הגדרת נקודות טעינה של אמצעי אחסון בזיכרון לשירותים. כשמפעילים את התכונות האלה, Cloud Run משנה את ניהול המשאבים של תהליך Cloud Storage FUSE וסופר את זה במגבלות הזיכרון של הקונטיינר. כדי להגדיל את מגבלת הזיכרון של הקונטיינר, קראו את המאמר הגדרת מגבלות הזיכרון לשירותים. |
|
file-cache-download-chunk-size-mb |
מציינת את הגודל של כל בקשת קריאה ב-MiB שכל goroutine שולחת ל-Cloud Storage כשמורידים את האובייקט למטמון הקבצים. | 200 |
file-cache-enable-parallel-downloads |
מאיץ קריאה של קבצים גדולים באמצעות ספריית המטמון של הקבצים כמאגר נתונים זמני לשליפה מראש, תוך שימוש בכמה workers כדי להוריד כמה חלקים של קובץ במקביל. | TRUE |
file-cache-max-parallel-downloads |
המספר המקסימלי של goroutines שאפשר ליצור בכל זמן נתון בכל משימות ההורדה של הקבצים. | פי שניים ממספר ליבות המעבד (CPU) במחשב או 16, הגבוה מביניהם. |
file-cache-parallel-downloads-per-file |
מספר בקשות ההורדה בו-זמנית לכל קובץ. | 16 |
file-cache-cache-file-for-range-read |
ההגדרה הזו קובעת אם האובייקט המלא יורד באופן אסינכרוני ויישמר בספריית המטמון של Cloud Storage FUSE, כשהקריאה הראשונה תושלם מהיסט שאינו אפס. | FALSE |
enable-buffered-read |
הפעלה של אגירת קריאה כדי לאחזר מראש נתוני אובייקטים. מומלץ לעומסי עבודה שקוראים קבצים גדולים ברצף (כמו מודלים של למידת מכונה או מערכי נתונים) כדי לשפר באופן משמעותי את קצב הקריאה ולהפחית את זמן האחזור של הפעלת הקונטיינר. | FALSE |
stat-cache-max-size-mb |
הגודל המקסימלי במגה-בייטים (MiB) שהמטמון של נתוני stat יכול להשתמש בו. מטמון הנתונים הסטטיסטיים נשמר תמיד בזיכרון, ומשפיע על צריכת הזיכרון. אם עומס העבודה כולל עד 20,000 קבצים, צריך לציין ערך של 32. אם עומס העבודה משתמש ביותר מ-20,000 קבצים, צריך להגדיל את הגודל בערכים של 10 לכל 6,000 קבצים נוספים, כאשר מטמון הנתונים הסטטיסטיים משתמש בממוצע של 1,500 בייטים לכל קובץ.כדי לאפשר למטמון הנתונים הסטטיסטיים להשתמש בכמות הזיכרון הנדרשת, צריך לציין את הערך -1. כדי להשבית את המטמון של הנתונים הסטטיסטיים, מציינים את הערך 0. |
32 |
type-cache-max-size-mb |
הגודל המקסימלי ב-MiB לכל ספרייה שהמטמון של הסוג יכול להשתמש בו. מטמון הסוגים תמיד נשמר כולו בזיכרון, ומשפיע על צריכת הזיכרון. ציינו ערך של 4 אם המספר המקסימלי של קבצים בספרייה אחת מהקטגוריה שאתם טוענים מכיל 20,000 קבצים או פחות. אם המספר המקסימלי של קבצים בספרייה אחת שאתם טוענים מכיל יותר מ-20,000 קבצים, צריך להגדיל את הערך ב-1 לכל 5,000 קבצים, שהם ממוצע של כ-200 בייטים לקובץ.כדי לאפשר למטמון הסוג להשתמש בכמות הזיכרון הדרושה, צריך לציין ערך של -1.כדי להשבית את מטמון הסוג, צריך לציין ערך של 0. |
4 |
הפקודה הבאה ב-Google Cloud CLI מגדירה את metadata-cache-ttl-secs ל-120 שניות ומגדילה את קיבולת המטמון של הנתונים הסטטיסטיים והסוגים ל-52 ול-7 MiB, בהתאמה:
gcloud run worker-pools update WORKER_POOL \ -add-volume mount-path=MOUNT_PATH,type=cloud-storage,bucket=BUCKET_NAME,mount-options="metadata-cache-ttl-secs=120;stat-cache-max-size-mb=52;type-cache-max-size-mb=7"
מחליפים את מה שכתוב בשדות הבאים:
- WORKER_POOL: השם של מאגר ה-workers.
- MOUNT_PATH: הנתיב היחסי שבו אתם טוענים את אמצעי האחסון, לדוגמה
/cache. - BUCKET_NAME: שם הקטגוריה של Cloud Storage.
הפעלת רישום ביומן של ניפוי באגים
כברירת מחדל, Cloud Storage FUSE מתעד אירועים עם רמת חומרה Info ומעלה. אפשר לשנות את הגדרות הרישום ביומן באמצעות כל אחת מרמות החומרה הבאות של היומן, שמופיעות בסדר עולה:
tracedebuginfowarningerror- כדי להשבית את כל הרישום ביומן, מציינים את הערך
off.
כשמציינים רמת חומרה, Cloud Storage FUSE יוצר יומנים לאירועים עם רמת חומרה ששווה לרמת החומרה שצוינה או גבוהה ממנה. לדוגמה, כשמציינים את הרמה warning, מערכת Cloud Storage FUSE יוצרת יומנים לאזהרות ולשגיאות.
הגדרת חומרת היומן לרמות גבוהות מ-info יכולה להשפיע על הביצועים וליצור כמות גדולה של נתוני רישום ביומן, לכן מומלץ לעשות זאת רק לפי הצורך. כדי שתהיה תאימות ל-Cloud Logging, הפורמט של היומן הוא text, ואין תמיכה בפורמט json.
שורת הפקודה הבאה מפעילה את יומן ניפוי הבאגים:
gcloud run worker-pools update WORKER_POOL \ --add-volume mount-path=MOUNT_PATH,type=cloud-storage,bucket=BUCKET_NAME,mount-options="log-severity=debug"
מחליפים את מה שכתוב בשדות הבאים:
- WORKER_POOL: השם של מאגר ה-workers.
- BUCKET_NAME: שם הקטגוריה של Cloud Storage.
- MOUNT_PATH: הנתיב היחסי שבו אתם טוענים את אמצעי האחסון, לדוגמה
/cache.
השבתת ספריות מרומזות
כדי ש-Cloud Storage ייראה יותר כמו מערכת קבצים רגילה, Cloud Run מפעיל ספריות מרומזות כברירת מחדל כשמצרפים קטגוריה של Cloud Storage. אפשר להשבית ספריות מרומזות באמצעות אפשרות הטעינה implicit-dirs. השבתת ספריות מרומזות יכולה לשפר את הביצועים ולהוזיל את העלויות, אבל יש לה פשרות מבחינת התאימות.
התכונה "ספריות משתמעות" מאפשרת ל-Cloud Run לזהות קבצים קיימים ב-Cloud Storage ששמות הקבצים שלהם מחקים מבנה של ספרייה, כמו /mydir/myfile.txt. אם תשביתו את הספריות המרומזות, Cloud Run לא יוכל להציג או לקרוא קבצים כאלה.
השבתת ספריות מרומזות מפחיתה את מספר הבקשות ל-Cloud Storage, מה שיכול לשפר את הביצועים והעלות של האפליקציה. מידע נוסף זמין במאמר קבצים וספריות של Cloud Storage FUSE.
שורת הפקודה הבאה משביתה ספריות מרומזות:
gcloud run worker-pools update WORKER_POOL \ --add-volume mount-path=MOUNT_PATH,type=cloud-storage,bucket=BUCKET_NAME,mount-options="implicit-dirs=false"
מחליפים את מה שכתוב בשדות הבאים:
- WORKER_POOL: השם של מאגר ה-workers.
- BUCKET_NAME: שם הקטגוריה של Cloud Storage.
- MOUNT_PATH: הנתיב היחסי שבו אתם טוענים את אמצעי האחסון, לדוגמה
/cache.
טעינת ספרייה ספציפית בתוך קטגוריה של Cloud Storage
כברירת מחדל, Cloud Run טוען את כל הקטגוריה של Cloud Storage, וכך מאגר ה-workers של Cloud Run מקבל גישה לכל התוכן שלה. במקרים מסוימים, יכול להיות שתרצו לטעון רק ספרייה ספציפית. לדוגמה, אם הקטגוריה מכילה מספר גדול של קבצים, טעינה של ספרייה ספציפית יכולה לשפר את הביצועים.
אפשר גם להטמיע את זה למטרות בידוד, כשצריך שלמאגרי Worker שונים תהיה גישה לספריות שונות בקטגוריית האחסון.
שורת הפקודה הבאה מציינת את הספרייה לטעינה:
gcloud run worker-pools update WORKER_POOL \ --add-volume mount-path=MOUNT_PATH,type=cloud-storage,bucket=BUCKET_NAME,mount-options="only-dir=images"
מחליפים את מה שכתוב בשדות הבאים:
- WORKER_POOL: השם של מאגר ה-workers.
- BUCKET_NAME: שם הקטגוריה של Cloud Storage.
- MOUNT_PATH: הנתיב היחסי שבו אתם טוענים את אמצעי האחסון, לדוגמה
/cache.
הגדרת עוצמת הקול UID ו-GID
משתמשים באפשרויות הטעינה uid ו-gid כדי לשנות את מזהה המשתמש ומזהה הקבוצה של אמצעי האחסון. האפשרות הזו שימושית אם רוצים להגדיר בעלות על הקובץ למשתמש או לקבוצה ספציפיים שתואמים לזהות של מאגר אחד או יותר שפועלים. כברירת מחדל, הבעלים של אמצעי האחסון הוא root.
שורת הפקודה הבאה מגדירה את uid ו-gid:
gcloud run worker-pools update WORKER_POOL \ --add-volume mount-path=MOUNT_PATH,type=cloud-storage,bucket=BUCKET_NAME,mount-options="uid=UID;gid=GID"
מחליפים את מה שכתוב בשדות הבאים:
- WORKER_POOL: השם של מאגר ה-workers.
- MOUNT_PATH: הנתיב היחסי שבו אתם טוענים את אמצעי האחסון, לדוגמה
/cache. - BUCKET_NAME: שם הקטגוריה של Cloud Storage.
- UID: מזהה המשתמש שצריך לטעון את אמצעי האחסון בשבילו.
- GID: מזהה הקבוצה שרוצים לטעון את אמצעי האחסון בתור.
הגדרת אפשרויות טעינה אחרות
זו הרשימה המלאה של כל אפשרויות הטעינה שנתמכות ב-Cloud Run.
הארגון שלי
implicit-dirsonly-dirrename-dir-limit
ניפוי באגים
debug_fuse_errorsdebug_fusedebug_gcsdebug-invariantsdebug_mutex
מטמון
stat-cache-capacitystat-cache-ttltype-cache-ttlenable-nonexistent-type-cache
הרשאות
uidgidfile-modedir-mode
אחר
billing-projectclient-protocolenable-buffered-readexperimental-enable-json-readexperimental-opentelemetry-collector-addresshttp-client-timeoutlimit-bytes-per-seclimit-ops-per-secmax-conns-per-hostmax-idle-conns-per-hostmax-retry-sleep-oretry-multipliersequential-read-size-mbstackdriver-export-interval
תיאורים מפורטים של האפשרויות האלה מופיעים במאמר אפשרויות טעינה בשורת הפקודה של Cloud Storage FUSE. בדף של Cloud Storage FUSE מפורטות כל האפשרויות הזמינות של FUSE, אבל Cloud Run לא תומך בחלק מהן.
אופטימיזציה של ביצועי רוחב הפס ברשת של Cloud Storage FUSE
כדי לשפר את ביצועי הקריאה והכתיבה, חברו את מאגר ה-Workers של Cloud Run לרשת VPC באמצעות Direct VPC, ונתבו את כל התנועה היוצאת דרך רשת ה-VPC. אפשר לעשות את זה באחת מהדרכים הבאות:
- מפעילים את גישה פרטית ל-Google, ומוודאים שהפרמטר
vpc-egressמוגדר ל-all-traffic. - משתמשים באחת מהאפשרויות שמתוארות בדף השיטות המומלצות בנושא רשתות, בקטע תנועה פנימית ל-Google API.
זמן ההפעלה של קונטיינר וטעינות של Cloud Storage FUSE
השימוש ב-Cloud Storage FUSE יכול להאריך קצת את זמן ההפעלה הראשונית של קונטיינר Cloud Run, כי Cloud Run מתחיל את טעינת אמצעי האחסון לפני הפעלת הקונטיינרים. הקונטיינר יתחיל לפעול רק אם Cloud Storage FUSE נטען בהצלחה.
שימו לב ש-Cloud Storage FUSE טוען נפח אחסון רק אחרי שנוצר חיבור ל-Cloud Storage. כל עיכוב ברשת יכול להשפיע על זמן ההפעלה של הקונטיינר. בהתאם, אם ניסיון ההתחברות נכשל, Cloud Storage FUSE לא יצליח לטעון את הקטגוריה ומאגר ה-workers של Cloud Run לא יתחיל לפעול. בנוסף, אם הטעינה של Cloud Storage FUSE נמשכת יותר מ-30 שניות, מאגר ה-workers של Cloud Run לא יתחיל לפעול כי הזמן הקצוב הכולל של Cloud Run לביצוע כל הטעינות הוא 30 שניות.
מאפייני הביצועים של Cloud Storage FUSE
אם מגדירים שני אמצעי אחסון, שכל אחד מהם מפנה לקטגוריה אחרת, יופעלו שני תהליכים של Cloud Storage FUSE. הטעינות והתהליכים מתרחשים במקביל.
פעולות שמשתמשות ב-Cloud Storage FUSE מושפעות מרוחב הפס של הרשת, כי Cloud Storage FUSE מתקשר עם Cloud Storage באמצעות Cloud Storage API. פעולות מסוימות, כמו הצגת רשימה של התוכן בקטגוריה, יכולות להיות איטיות אם רוחב הפס של הרשת נמוך. באופן דומה, קריאה של קובץ גדול יכולה להימשך זמן מה, כי גם היא מוגבלת על ידי רוחב הפס של הרשת.
כשכותבים לקטגוריה, Cloud Storage FUSE מעביר את האובייקט במלואו לזיכרון. המשמעות היא שכתיבת קבצים גדולים מוגבלת על ידי כמות הזיכרון שזמינה למכונה של מאגר הנתונים (מגבלת הזיכרון המקסימלית של מאגר הנתונים היא 32GiB).
הכתיבה נמחקת מהקטגוריה רק כשמבצעים close או fsync: האובייקט המלא מועלה לקטגוריה. החריג היחיד שבו אובייקט לא מועלה מחדש במלואו לקטגוריה הוא במקרה של קובץ עם תוכן מצורף, כשהקובץ הוא בגודל 2MiB או יותר.
מידע נוסף זמין במקורות המידע הבאים:
ניקוי והסרה של אמצעי אחסון ונקודות טעינה של אמצעי אחסון
אתם יכולים לנקות את כל אמצעי האחסון ונקודות הטעינה, או להסיר אמצעי אחסון ונקודות טעינה ספציפיים.
ניקוי כל אמצעי האחסון ונקודות הטעינה של אמצעי האחסון
כדי לנקות את כל הנפחים ונקודות העגינה של הנפחים ממאגר ה-Workers עם קונטיינר יחיד, מריצים את הפקודה הבאה:
gcloud run worker-pools update WORKER_POOL \ --clear-volumes \ --clear-volume-mounts
gcloud run worker-pools update WORKER_POOL \ --container=container1 \ --clear-volumes \ --clear-volume-mounts \ --container=container2 \ --clear-volumes \ --clear-volume-mounts
הסרת אמצעי אחסון ונקודות טעינה ספציפיים
כדי להסיר אמצעי אחסון, צריך להסיר גם את כל נקודות הגישה לאמצעי האחסון שמשתמשות בו.
כדי להסיר ווליומים או נקודות טעינה ספציפיים, משתמשים בדגלים remove-volume ו-remove-volume-mount:
gcloud run worker-pools update WORKER_POOL \ --remove-volume VOLUME_NAME \ --container=container1 \ --remove-volume-mount MOUNT_PATH \ --container=container2 \ --remove-volume-mount MOUNT_PATH