דרישות להעברות של מערכת קבצים

לפני שיוצרים משימת העברה של מערכת קבצים, צריך להפעיל את ממשקי ה-API הנדרשים ולהתקין את Docker.

אם מופיעות שגיאות במהלך ההגדרה הראשונית, ודאו שלמשתמש שהתחברתם איתו יש את ההרשאות הנדרשות לביצוע שלבי ההגדרה. במקרים רבים, ההרשאות האלה לא זמינות לכל המשתמשים, ויכול להיות שתצטרכו לפנות לאדמין של הפרויקט כדי לקבל עזרה.

דרישות מערכת

כדי להשתמש ב-Storage Transfer Service להעברות של מערכות קבצים, צריך:

אלה דרישות המכונה של סוכן ההעברה:

  • שרת Linux או מכונה וירטואלית של 64 ביט עם תמיכה ב-Docker, שיכולים לגשת לנתונים שאתם מתכננים להעביר. ‫Docker Community Edition, תומך במערכות ההפעלה CentOs,‏ Debian,‏ Fedora ו-Ubuntu.

    כדי להשתמש במערכות הפעלה אחרות של Linux, עיינו במאמר Docker Enterprise.

  • כדי שהמערכת תהיה יעילה, צריך לפחות 8GB זיכרון לכל קונטיינר ולפחות ארבעה מעבדים.

  • כל מגבלה ברמת המערכת או ברמת המשתמש על מספר מזהי התהליכים המותרים, כמו אלה שהוגדרו באמצעות ulimit -u, צריכה להביא בחשבון את מספר הסוכנים שאתם מתכננים להפעיל. כל תהליך של סוכן יכול ליצור עד מאות רבות של שרשורים. מומלץ להסיר את המגבלות על מזהי התהליכים כשמריצים סוכני העברה.

    לקוחות שמשתמשים ב-Podman כדי ליצור קונטיינרים של סוכנים צריכים לציין ערך --pids-limit גבוה מספיק כדי להכיל את ה-threads של סוכן Storage Transfer Service. ערך ברירת המחדל של --pids-limit הוא 2048, מה שעלול לגרום לבעיות כשמפעילים יותר מסוכן אחד. מומלץ להגדיר את --pids-limit=-1 כדי לאפשר מספר בלתי מוגבל של מזהי תהליכים לכל קונטיינר.

נקודות הקצה הנדרשות

לסוכן ההעברה צריכה להיות גישה לנקודות הקצה הבאות של DNS. יכול להיות שסוכן ישתמש רק בחלק מנקודות הקצה האלה, בהתאם להגדרות שלו, אבל צריך לאשר את כל נקודות הקצה כדי להבטיח פונקציונליות מלאה.

Google Cloud נקודות קצה (endpoints)

רשימת נקודות הקצה הנדרשות עשויה להשתנות. כדי למנוע שיבושים בהעברה, מומלץ לאשר את הדומיין הבסיסי googleapis.com ואת gcr.io, בתנאי שמדיניות האבטחה של הארגון מאפשרת זאת.

נקודת קצה (endpoint) שירות מטרה
storagetransfer.googleapis.com Storage Transfer Service הסוכן משתמש בכתובת הזו כדי להתחבר ל-Storage Transfer Service, לקבל משימות העברה ולדווח על סטטוס התקינות שלו.
storage.googleapis.com Cloud Storage משמש לביצוע פעולות ליבה של העברת נתונים, כולל הצגת רשימה, קריאה וכתיבה של אובייקטים בקטגוריות של Cloud Storage.
www.googleapis.com Google APIs משמש להורדת עדכוני גרסאות של סוכן ההעברה.
monitoring.googleapis.com Cloud Monitoring משמש לייצוא של מדדי ביצועי העברה ומדדי תקינות של נציגים.
logging.googleapis.com Cloud Logging משמש לפרסום יומני המערכת ויומן הפעילות של הסוכן.
oauth2.googleapis.com OAuth 2.0 משמש להחלפה מאובטחת של פרטי כניסה ולאחזור טוקני גישה לטווח קצר לצורך הרשאת API.
iamcredentials.googleapis.com פרטי כניסה לחשבון שירות ב-IAM משמש ליצירת פרטי כניסה זמניים כשהסוכן מוגדר להתחזות לחשבון שירות ספציפי.
cloudresourcemanager.googleapis.com מנהל המשאבים משמש במהלך ההתקנה וההגדרה של הסוכן כדי לאמת את ההגדרות וההרשאות של הפרויקט.
gcr.io Container Registry משמש להורדת קובץ האימג' של קונטיינר הסוכן של Storage Transfer Service במהלך ההתקנה.

כדי לשפר את ביצועי ההעברה, יכול להיות שהסוכן ישתמש בפרוטוקולי HTTP שונים, כולל HTTP/1.1 ו-HTTP/2 לכל הפחות, כשהוא מתקשר עם נקודות קצה שונות. חשוב לוודא ששרתי ה-proxy או חומות האש שהגדרתם תומכים בכל סוגי הפרוטוקולים האלה ופועלים בצורה תקינה.

נקודות קצה אזוריות

אם הגדרתם את הנציגים כך שישתמשו בנקודות קצה אזוריות (למשל storage.REGION.rep.googleapis.com), שמות הדומיינים הספציפיים האלה צריכים להיות מורשים על ידי כללי שרת ה-Proxy או חומת האש, במקום נקודת הקצה הרגילה storage.googleapis.com.

נקודות קצה של אחסון במקור וביעד

הסוכן גם צריך גישה לרשת למערכות האחסון הספציפיות של המקור והיעד, כמו ממשקי API תואמי S3, אשכולות HDFS או NFS ל-POSIX.

הגבלות על הרחבת המשימות והסוכנים

ל-Storage Transfer Service יש את מגבלות ההיקף הבאות על משימות העברה ועל נציגים:

  • פחות ממיליארד קבצים לכל משימה
  • רוחב הפס המקסימלי חייב להיות לפחות 1MB לשנייה (מגה-בייט לשנייה)
  • עד 100 נציגים בכל מאגר נציגים
  • עד 800 מאגרי נציגים לכל פרויקט

הפעלת ממשקי ה-API

  1. מפעילים את Google Storage Transfer API, אם הוא עדיין לא מופעל.

    התפקידים שנדרשים כדי להפעיל ממשקי API

    כדי להפעיל ממשקי API, צריך את ההרשאה serviceusage.services.enable. אם אתם יצרתם את הפרויקט, סביר להניח שכבר יש לכם את ההרשאה הזו דרך התפקיד "בעלים" (roles/owner). אחרת, תוכלו לקבל את ההרשאה הזו דרך התפקיד "אדמין בממשק 'שימוש בשירות'" (roles/serviceusage.serviceUsageAdmin). כך מקצים תפקידים.

    להפעלת ה-API

התקנת Docker

אם אתם משתמשים ב-Google Cloud CLI או ב-Docker כדי להתקין ולהפעיל סוכני העברה, התקינו את Docker Engine במכונת Linux פיזית או וירטואלית.

אם אתם משתמשים ב-Podman כדי להתקין ולהפעיל סוכני העברה, דלגו ישירות להוראות ההתקנה הספציפיות ל-Podman.

curl -fsSL https://get.docker.com -o get-docker.sh
sudo sh get-docker.sh
sudo systemctl enable docker --now

אם נתקלתם בשגיאה בהתקנה, עיינו בקטע פתרון בעיות.

איך מאפשרים ל-Docker לבצע אימות

כדי לאפשר לקונטיינר של Docker לבצע אימות באמצעות פרטי הכניסה של gcloud שמוגדרים כברירת מחדל, יוצרים ווליום של Docker שמכיל קובץ עם פרטי הכניסה של האפליקציה שמוגדרים כברירת מחדל. לשם כך, מריצים את הפקודה הבאה:

sudo docker run -ti --name gcloud-config google/cloud-sdk gcloud auth application-default login

מה השלב הבא?